A. 簡述在進行web挖掘時如何處理用戶的私有數據
摘要 您的問題我已經收到了哈，查詢需要點時間，請耐心等待一下哦
B. web挖掘怎麼實現
截止到今天為止，我尚不知道有什麼有價值的web挖掘系統存在，不過您可以參考檢索引擎的挖掘演算法，比如Apache的lucene等
http://lucene.apache.org/java/docs/index.html
-------------
並為您附錄以下信息：
近年來，隨著 Internet/Web技術的快速普及和迅猛發展，使各種信息可以以非常低的成本在網路上獲得，由於Internet/WWW在全球互連互通，可以從中取得的數據量難以計算，而且Internet/WWW的發展趨勢繼續看好，特別是電子商務的蓬勃發展為網路應用提供了強大支持，如何在WWW這個全球最大的數據集合中發現有用信息無疑將成為數據挖掘研究的熱點。
Web挖掘指使用數據挖掘技術在WWW數據中發現潛在的、有用的模式或信息。Web挖掘研究覆蓋了多個研究領域，包括資料庫技術、信息獲取技術、統計學、人工智慧中的機器學習和神經網路等。
2．Web挖掘流程
與傳統數據和數據倉庫相比，Web上的信息是非結構化或半結構化的、動態的、並且是容易造成混淆的，所以很難直接以Web網頁上的數據進行數據挖掘，而必須經過必要的數據處理。典型Web挖掘的處理流程如下[3]：
1．查找資源：任務是從目標Web文檔中得到數據，值得注意的是有時信息資源不僅限於在線Web文檔，還包括電子郵件、電子文檔、新聞組，或者網站的日誌數據甚至是通過Web形成的交易資料庫中的數據。
2．信息選擇和預處理：任務是從取得的Web資源中剔除無用信息和將信息進行必要的整理。例如從Web文檔中自動去除廣告連接、去除多餘格式標記、自動識別段落或者欄位並將數據組織成規整的邏輯形式甚至是關系表。
3．模式發現：自動進行模式發現。可以在同一個站點內部或在多個站點之間進行。
4．模式分析：驗證、解釋上一步驟產生的模式。可以是機器自動完成，也可以是與分析人員進行交互來完成。
Web挖掘作為一個完整的技術體系，在進行挖掘之前的信息獲得IR（Information Retrieval）和信息抽取IE(Information Extraction)相當重要。信息獲得（IR）的目的在於找到相關Web文檔，它只是把文檔中的數據看成未經排序的片語的集合，而信息抽取(IE)的目的在於從文檔中找到需要的數據項目，它對文檔的結構合表達的含義感興趣,它得一個重要任務就是對數據進行組織整理並適當建立索引。
信息獲得（IR）和信息抽取(IE)技術的研究已近有很長時間，隨著Web技術的發展，基於Web技術的IR、 IE得到了更多的重視。由於Web 數據量非常大，而且可能動態變化，用原來手工方式進行信息收集早已經力不從心，目前的研究方向是用自動化、半自動化的方法在Web上進行IR和IE。在 Web環境下既要處理非結構化文檔，又要處理半結構化的數據，最近幾年在這兩方面都有相應的研究成果和具體應用，特別是在大型搜索引擎中得到了很好的應用。
3．Web挖掘分類及各自的研究現狀及發展
根據對Web數據的感興趣程度不同，Web挖掘一般可以分為三類：Web內容挖掘（Web Content mining）、 Web結構挖掘（ Web structure mining）、 Web 用法挖掘（Web usage Mining）
3．1、Web內容挖掘：
指從Web內容/數據/文檔中發現有用信息，Web上的信息五花八門，傳統的Internet由各種類型的服務和數據源組成，包括WWW、FTP、Telnet等，現在有更多的數據和埠可以使用，比如政府信息服務、數字圖書館、電子商務數據，以及其他各種通過 Web可以訪問的資料庫。Web內容挖掘的對象包括文本、圖象、音頻、視頻、多媒體和其他各種類型的數據。其中針對無結構化文本進行的Web挖掘被歸類到基於文本的知識發現（KDT）領域，也稱文本數據挖掘或文本挖掘，是Web挖掘中比較重要的技術領域，也引起了許多研究者的關注。最近在Web多媒體數據挖掘方面的研究成為另一個熱點。
Web內容挖掘一般從兩個不同的觀點來進行研究。從資源查找（IR）的觀點來看，Web內容挖掘的任務是從用戶的角度出發，怎樣提高信息質量和幫助用戶過濾信息。而從DB的角度講Web內容挖掘的任務主要是試圖對Web上的數據進行集成、建模，以支持對Web數據的復雜查詢。
3．1．1從資源查找（Information Retrival）的觀點挖掘非結構化文檔：
非結構化文檔主要指Web上的自由文本，包括小說、新聞等。在這方面的研究相對比較多一些，大部分研究都是建立在詞彙袋（bag of words）或稱向量表示法（vector representation）的基礎上，這種方法將單個的詞彙看成文檔集合中的屬性，只從統計的角度將詞彙孤立地看待而忽略該詞彙出現的位置和上下文環境。屬性可以是布爾型，根據詞彙是否在文檔中出現而定，也可以有頻度，即該詞彙在文檔中的出現頻率。這種方法可以擴展為選擇終結符、標點符號、不常用詞彙的屬性作為考察集合。詞彙袋方法的一個弊端是自由文本中的數據豐富，詞彙量非常大，處理起來很困難，為解決這個問題人們做了相應的研究，採取了不同技術，如信息增益，交叉熵、差異比等，其目的都是為了減少屬性。另外，一個比較有意義的方法是潛在語義索引（Latent Semantic Indexing），它通過分析不同文檔中相同主題的共享詞彙，找到他們共同的根，用這個公共的根代替所有詞彙，以此來減少維空間。例如： 「informing」、「information」、「informer」、「informed」可以用他們的根「inform」來表示，這樣可以減少屬性集合的規模。
其他的屬性表示法還有詞彙在文檔中的出現位置、層次關系、使用短語、使用術語、命名實體等，目前還沒有研究表明一種表示法明顯優於另一種。
用資源查找（Information Retrival）的觀點挖掘半結構化文檔：
與非結構化數據相比，Web上的半結構化文檔挖掘指在加入了HTML、超連接等附加結構的信息上進行挖掘，其應用包括超連接文本的分類、聚類、發現文檔之間的關系、提出半結構化文檔中的模式和規則等。
3．1．2從資料庫（Database）的觀點挖掘非結構化文檔：
資料庫技術應用於Web挖掘主要是為了解決Web信息的管理和查詢問題。這些問題可以分為三類：Web信息的建模和查詢；信息抽取與集成；Web站點建構和重構。
從資料庫的觀點進行Web內容挖掘主要是試圖建立Web站點的數據模型並加以集成，以支持復雜查詢，而不止是簡單的基於關鍵詞的搜索。這要通過找到Web文檔的模式、建立Web數據倉庫或Web知識庫或虛擬資料庫來實現。相關研究主要是基於半結構化數據進行的。
資料庫觀點主要利用OEM(Object Exchange Model)模型將半結構化數據表示成標識圖。OEM中的每個對象都有對象標識（OID）和值，值可以是原子類型，如整型、字元串型、gif、html 等，也可以是一個復合類型，以對象引用集合的形式表示。由於Web數據量非常龐大，從應用的角度考慮，很多研究只處理辦結構化數據的一個常用自集。一些有意義的應用是建立多層資料庫（MLDB），每一層是它下面層次的概化，這樣就可以進行一些特殊的查詢和信息處理。對於在半結構化數據上的查詢語言研究也得到了人們的重視並做了專題研究。
由於在資料庫觀點下數據的表示方法比較特殊，其中包含了關系層次和圖形化的數據，所以大部分建立在扁平數據集合之上的數據挖掘方法不能直接使用，目前已經有人針對多層資料庫挖掘演算法進行研究。
3．2、Web結構挖掘：
Web結構挖掘的對象是Web本身的超連接，即對Web文檔的結構進行挖掘。對於給定的Web文檔集合，應該能夠通過演算法發現他們之間連接情況的有用信息，文檔之間的超連接反映了文檔之間的包含、引用或者從屬關系，引用文檔對被引用文檔的說明往往更客觀、更概括、更准確。
Web結構挖掘在一定程度上得益於社會網路和引用分析的研究。把網頁之間的關系分為incoming連接和 outgoing連接，運用引用分析方法找到同一網站內部以及不同網站之間的連接關系。在Web結構挖掘領域最著名的演算法是HITS演算法和 PageRank演算法。他們的共同點是使用一定方法計算Web頁面之間超連接的質量，從而得到頁面的權重。著名的Clever和Google搜索引擎就採用了該類演算法。
此外，Web結構挖掘另一個嘗試是在Web數據倉庫環境下的挖掘，包括通過檢查同一台伺服器上的本地連接衡量 Web結構挖掘Web站點的完全性，在不同的Web數據倉庫中檢查副本以幫助定位鏡像站點，通過發現針對某一特定領域超連接的層次屬性去探索信息流動如何影響Web站點的設計。
3．3、Web用法挖掘（Web usage Mining）：
即Web使用記錄挖掘，在新興的電子商務領域有重要意義，它通過挖掘相關的Web日誌記錄，來發現用戶訪問 Web頁面的模式，通過分析日誌記錄中的規律，可以識別用戶的忠實度、喜好、滿意度，可以發現潛在用戶，增強站點的服務競爭力。Web使用記錄數據除了伺服器的日誌記錄外還包括代理伺服器日誌、瀏覽器端日誌、注冊信息、用戶會話信息、交易信息、Cookie中的信息、用戶查詢、滑鼠點擊流等一切用戶與站點之間可能的交互記錄。可見Web使用記錄的數據量是非常巨大的，而且數據類型也相當豐富。根據對數據源的不同處理方法，Web 用法挖掘可以分為兩類，一類是將Web使用記錄的數據轉換並傳遞進傳統的關系表裡，再使用數據挖掘演算法對關系表中的數據進行常規挖掘；另一類是將Web 使用記錄的數據直接預處理再進行挖掘。Web 用法挖掘中的一個有趣的問題是在多個用戶使用同一個代理伺服器的環境下如何標識某個用戶，如何識別屬於該用戶的會話和使用記錄，這個問題看起來不大，但卻在很大程度上影響著挖掘質量，所以有人專門在這方面進行了研究。通常來講，經典的數據挖掘演算法都可以直接用到Web 用法挖掘上來，但為了提高挖掘質量，研究人員在擴展演算法上進行了努力，包括復合關聯規則演算法、改進的序列發現演算法等。
在[4]中，根據數據來源、數據類型、數據集合中的用戶數量、數據集合中的伺服器數量等將Web 用法挖掘分為五類：
●個性挖掘：針對單個用戶的使用記錄對該用戶進行建模，結合該用戶基本信息分析他的使用習慣、個人喜好，目的是在電子商務環境下為該用戶提供與眾不同的個性化服務。
●系統改進：Web服務（資料庫、網路等）的性能和其他服務質量是衡量用戶滿意度的關鍵指標，Web 用法挖掘可以通過用戶的擁塞記錄發現站點的性能瓶頸，以提示站點管理者改進Web緩存策略、網路傳輸策略、流量負載平衡機制和數據的分布策略。此外，可以通過分析網路的非法入侵數據找到系統弱點，提高站點安全性，這在電子商務環境下尤為重要。
●站點修改：站點的結構和內容是吸引用戶的關鍵。Web 用法挖掘通過挖掘用戶的行為記錄和反饋情況為站點設計者提供改進的依，比如頁面連接情況應如何組織、那些頁面應能夠直接訪問等。
●智能商務：用戶怎樣使用Web站點的信息無疑是電子商務銷售商關心的重點，用戶一次訪問的周期可分為被吸引、駐留、購買和離開四個步驟，Web用法挖掘可以通過分析用戶點擊流等Web日誌信息挖掘用戶行為的動機，以幫助銷售商合理安排銷售策略。
●Web特徵描述：這類研究跟關注這樣通過用戶對站點的訪問情況統計各個用戶在頁面上的交互情況，對用戶訪問情況進行特徵描述。
4．結束語
盡管Web挖掘的形式和研究方向層出不窮，但我認為隨著電子商務的興起和迅猛發展，未來Web挖掘的一個重要應用方向將是電子商務系統。而與電子商務關系最為密切的是用法挖掘（Usage Mining），也就是說在這個領域將會持續得到更多的重視。另外，在搜索引擎的研究方面，結構挖掘的研究已經相對成熟，基於文本的內容挖掘也已經有許多研究，下一步將會有更多的研究者把多媒體挖掘最為研究方向。
C. Web數據挖掘的內容簡介
《Web數據挖掘》是適用於數據挖掘學術研究和開發的專業人員的參考書，同時也適合作為高等院校計算機及相關專業研究生的教材。書中首先論述了Web的基礎（包括Web信息採集機制、Web標引機制以及基於關鍵字或基於相似性搜索機制），然後系統地描述了Web挖掘的基礎知識，著重介紹基於超文本的機器學習和數據挖掘方法，如聚類、協同過濾、監督學習、半監督學習，最後講述了這些基本原理在Web挖掘中的應用。《Web數據挖掘》為讀者提供了堅實的技術背景和最新的知識。
D. 基於web的數據挖掘 如何實現
估計你是做一個收集web數據的項目吧！比如商業信息什麼的。
有一個軟體叫 商友-business partner,
當然源碼你是看不到的，你可以參考以下它的風格，和功能。一套正版的要1W多呢。網上有破解版的，你找找！
E. 學習web數據挖掘需要哪些基礎
數據挖掘的起點很高——
1、統計學
2、機器學習
3、數學——圖論，最優化理論等。
WEB上的數據結構更加復雜。
python語言————應該學習
F. Web挖掘在企業競爭情報中的應用
對Web的挖掘，主要通過3個途徑獲取競爭情報。
競爭對手Web站點的挖掘。企業網站包括企業各方面的信息，通過對競爭對手網站的挖掘，可以發現不少有價值的情報線索。如網上有關競爭對手的相關合同的具體資料、研發活動、客戶信息等，通過對這些信息進行挖掘整理，從而形成有價值的情報。
第三方網站。第三方網站主要包括政府網站、專業資料庫以及其他Web站點。政府網站是信息資源的最大擁有者，通過對政府網站的挖掘，可以更好地掌握行業的發展趨勢、理解政府的政策，以便做出正確的決策。專業資料庫主要有專利資料庫、商情資料庫、各種會議資料庫等。從專業資料庫中，可以檢索到各種不同的商情信息，可以更好地挖掘出競爭對手的市場營銷、成本定位、研發能力、組織結構等方面的內容。其他Web站點主要有競爭對手客戶站點、網路輿情論壇、求職網站及其他商業性Web站點。
企業自身Web站點的挖掘。對企業自身Web日誌的挖掘，可以從多途徑了解關注本企業的潛在客戶群。例如，通過對瀏覽者在伺服器上留下信息的挖掘，可以了解用戶的年齡結構、職業、愛好習慣等；運用統計學和心理學原理，可以挖掘出用戶對本企業的期望程度和分析產品需要改進之處等，以便有針對性地制定出相應的決策。
G. 網路數據挖掘是什麼和web數據挖掘有什麼區別與聯系
數據採集和數據挖掘是數據管理的不同階段
數據採集的工作是從數據源獲得能夠保存至資料庫或數據倉庫中的數據信息。例如從感測器採集到的溫度、速度、濕度等信息，從網路中採集的Web數據等。
在數據採集之後需要對數據進行數據清洗，使數據符合入庫的要求，之後就是對採集的數據進行導入。最後是在資料庫或數據倉庫上進行數據挖掘。
H. Web 數據挖掘如何入門
最基本的sql + python + （R or spss ）
最基本的sql會就行，什麼join啊什麼的都不用管，能select * from xxx limit n啥的就足夠了。做到能批量把要用到的原始數據下載下來
python5分鍾就能上手寫，1周就能熟練的處理各種原始數據到你想要輸入給下一步的軟體的格式上。
然後用R或者spss來畫圖或者做跑各種高大上的統計模型
然後根據不同的業務自己去想挖掘的方法，什麼回歸啊，什麼SVM，什麼決策樹啊，這些東西都是工具，不是目的
至於如何有好的挖掘的idea，似乎沒有好書推薦，在工作中學吧
或者說，這就是社會學背景能帶來最大好處的地方
理論別學太多，又不是搞學術
這套東西全弄下來，也就一周兩周的事情（spss你已經會啦嘛）
I. WEB挖掘的WEB挖掘-能挖到什麼
· 獲取競爭對手和客戶信息。Web不僅由頁面組成，而且還包含了從一個頁面指向另一個頁面的超鏈接。一個Web頁面的作者建立指向另一個頁面的指針，就可以看作是作者對另一頁面的認可。把另一頁面的來自不同作者的註解收集起來，就可以用來反映該頁面的重要性，並可以很自然地用於權威頁面的發現。另外一種重要的Web頁面是一個或多個Web頁面，它提供了指向權威頁面的鏈接集合，稱為Hub。Hub頁面本身可能並不突出，或者說可能沒有幾個鏈接指向它們，但是 Hub頁面卻提供了指向就某個話題而言最為突出的站點的鏈接。通過分析這類信息，企業可以獲得零售商、中間商、合作商以及競爭對手的信息。
· 發現用戶訪問模式。通過分析和探究Web日誌記錄中的規律，可以識別電子商務的潛在客戶，提高對最終用戶的服務質量，並改進Web伺服器系統的性能。 Web日誌記錄資料庫提供了有關Web動態的，基於URL、時間、IP地址和Web頁面內容的豐富信息，對它們進行分析，有助於發現潛在客戶、用戶和市場,有助於聚類用戶並將用戶分門別類，以實現個性化的市場服務。
·反競爭情報活動。反競爭情報是企業競爭情報活動的重要組成部分。忽視競爭對手的競爭情報活動、低估競爭對手搜集競爭情報的能力勢必導致企業失去已有的競爭優勢。Web站點是企業與外界進行交流的窗口，同時也是競爭對手獲取競爭情報的一個重要信息源。在競爭情報計算機系統中，可以充分利用Web挖掘技術，通過運用分析訪問者的IP地址、客戶端所屬域、信息訪問路徑，統計敏感信息訪問率等方法識別競爭對手，保護企業敏感性信息。