Ⅰ 網路數據挖掘是什麼和web數據挖掘有什麼區別與聯系
數據採集和數據挖掘是數據管理的不同階段
數據採集的工作是從數據源獲得能夠保存至資料庫或數據倉庫中的數據信息。例如從感測器採集到的溫度、速度、濕度等信息,從網路中採集的Web數據等。
在數據採集之後需要對數據進行數據清洗,使數據符合入庫的要求,之後就是對採集的數據進行導入。最後是在資料庫或數據倉庫上進行數據挖掘。
Ⅱ 如何通過用數據挖掘技術來分析Web網站日誌
1、數據預處理階段根據挖掘的目的,對原始Web日誌文件中的數據進行提取、分解、合並、最後轉換為用戶會話文件。該階段是Web訪問信息挖掘最關鍵的階段,數據預處理包括:關於用戶訪問信息的預處理、關於內容和結構的預處理。
2、會話識別階段該階段本是屬於數據預處理階段中的一部分,這里將其劃分成單獨的一個階段,是因為把用戶會話文件劃分成的一組組用戶會話序列將直接用於挖掘演算法,它的精準度直接決定了挖掘結果的好壞,是挖掘過程中最重要的階段。
3、模式發現階段模式發現是運用各種方法和技術從Web日誌數據中挖掘和發現用戶使用Web的各種潛在的規律和模式。模式發現使用的演算法和方法不僅僅來自數據挖掘領域,還包括機器學習、統計學和模式識別等其他專業領域。
模式發現的主要技術有:統計分析(statistical analysis)、關聯規則(association rules)、聚類(clustering)、歸類(classification)、序列模式(sequential patterns)、依賴關系(dependency)。
(1)統計分析(statistical analysis):常用的統計技術有:貝葉斯定理、預測回歸、對數回歸、對數-線性回歸等。可用來分析網頁的訪問頻率,網頁的訪問時間、訪問路徑。可用於系統性能分析、發現安全漏洞、為網站修改、市場決策提供支持。
(2)關聯規則(association rules):關聯規則是最基本的挖掘技術,同時也是WUM最常用的方法。在WUM中常常用在被訪問的網頁中,這有利於優化網站組織、網站設計者、網站內容管理者和市場分析,通過市場分析可以知道哪些商品被頻繁購買,哪些顧客是潛在顧客。
(3)聚類(clustering):聚類技術是在海量數據中尋找彼此相似對象組,這些數據基於距離函數求出對象組之間的相似度。在WUM中可以把具有相似模式的用戶分成組,可以用於電子商務中市場分片和為用戶提供個性化服務。
(4)歸類(classification):歸類技術主要用途是將用戶資料歸入某一特定類中,它與機器學習關系很緊密。可以用的技術有:決策樹(decision tree)、K-最近鄰居、Naïve Bayesian classifiers、支持向量機(support vector machines)。
(5)序列模式(sequential patterns):給定一個由不同序列組成的集合,其中,每個序列由不同的元素按順序有序排列,每個元素由不同項目組成,同時給定一個用戶指定的最小支持度閾值,序列模式挖掘就是找出所有的頻繁子序列,即子序列在序列集中的出現頻率不低於用戶指定的最小支持度閾值。
(6)依賴關系(dependency):一個依賴關系存在於兩個元素之間,如果一個元素A的值可以推出另一個元素B的值,則B依賴於A。
4、模式分析階段模式分析是Web使用挖掘最後一步,主要目的是過濾模式發現階段產生的規則和模式,去除那些無用的模式,並把發現的模式通過一定的方法直觀的表現出來。由於Web使用挖掘在大多數情況下屬於無偏向學習,有可能挖掘出所有的模式和規則,所以不能排除其中有些模式是常識性的,普通的或最終用戶不感興趣的,故必須採用模式分析的方法使得挖掘出來的規則和知識具有可讀性和最終可理解性。常見的模式分析方法有圖形和可視化技術、資料庫查詢機制、數理統計和可用性分析等。
Ⅲ 末代沙皇的小女兒安娜斯塔西婭還在人世嗎
沒賞金的我就簡答了,一分價錢一分貨。當年都被槍斃了並毀容燒毀,在處理沙皇一家屍體時安娜和阿列克謝被單獨放不遠處坑裡,劊子手解釋為了未來有人尋找11人混淆視聽,所以沙皇夫妻三個女兒一個御醫三個仆從9人在一坑,這11人2005年和2008年俄羅斯政府用dna證實了所有人身份。
Ⅳ 用戶行為分析系統建立所需步驟和所需軟體
Web日誌挖掘分析的方法
日誌文件的格式及其包含的信息
①2006-10-17 00:00:00②202.200.44.43 ③218.77.130.24 80 ④GET ⑤/favicon.ico
⑥Mozilla/5.0+(Windows;+U;+Windows+NT+5.1;+zh-CN;+rv:1.8.0.3)+Gecko/20060426
+Firefox/1.5.0.3。
①訪問時間;②用戶IP地址;③訪問的URL,埠;④請求方法(「GET」、「POST」等);
⑤訪問模式;⑥agent,即用戶使用的操作系統類型和瀏覽器軟體。
一、日誌的簡單分析
1、注意那些被頻繁訪問的資源
2、注意那些你網站上不存在資源的請求。常見的掃描式攻擊還包括傳遞惡意參數等:
3、觀察搜索引擎蜘蛛的來訪情況
4、觀察訪客行為
應敵之策:
1、封殺某個IP
2、封殺某個瀏覽器類型(Agent)
3、封殺某個來源(Referer)
4、防盜鏈
5、文件重命名
作用:
1.對訪問時間進行統計,可以得到伺服器在某些時間段的訪問情況。
2.對IP進行統計,可以得到用戶的分布情況。
3.對請求URL的統計,可以得到網站頁面關注情況。
4.對錯誤請求的統計,可以更正有問題的頁面。
二、Web挖掘
根據所挖掘的Web 數據的類型,可以將Web 數據挖掘分為以下三類:Web 內容挖掘(Web Content Mining)、Web 結構挖掘(Web Structure Mining)、Web 使用挖掘(Web Usage Mining)(也稱為Web日誌挖掘)。
①Web內容挖掘。Web內容挖掘是指從文檔的內容中提取知識。Web內容挖掘又分為文本挖掘和多媒體挖掘。目前多媒體數據的挖掘研究還處於探索階段,Web文本挖掘已經有了比較實用的功能。Web文本挖掘可以對Web上大量文檔集合的內容進行總結、分類、聚類、關聯分析,以及利用Web文檔進行趨勢預測等。Web文檔中的標記,例如<Title>和<Heading>等蘊含了額外的信息,可以利用這些信息來加強Web文本挖掘的作用。
②Web結構挖掘。Web結構挖掘是從Web的組織結構和鏈接關系中推導知識。它不僅僅局限於文檔之間的超鏈接結構,還包括文檔內部的結構。文檔中的URL目錄路徑的結構等。Web結構挖掘能夠利用網頁間的超鏈接信息對搜索引擎的檢索結果進行相關度排序,尋找個人主頁和相似網頁,提高Web搜索蜘蛛在網上的爬行效率,沿著超鏈接優先爬行。Web結構挖掘還可以用於對Web頁進行分類、預測用戶的Web鏈接使用及Web鏈接屬性的可視化。對各個商業搜索引擎索引用的頁數量進行統計分析等。
③Web使用記錄挖掘。Web使用記錄挖掘是指從Web的使用記錄中提取感興趣的模式,目前Web使用記錄挖掘方面的研究較多,WWW中的每個伺服器都保留了訪問日誌,記錄了關於用戶訪問和交互的信息,可以通過分析和研究Web日誌記錄中的規律,來識別網站的潛在用戶;可以用基於擴展有向樹模型來識別用戶瀏覽序列模式,從而進行Web日誌挖掘;可以根據用戶訪問的Web記錄挖掘用戶的興趣關聯規則,存放在興趣關聯知識庫中,作為對用戶行為進行預測的依據,從而為用戶預取一些Web頁面,加快用戶獲取頁面的速度,分析這些數據還可以幫助理解用戶的行為,從而改進站點的結構,或為用戶提供個性化的服務。
通過對Web伺服器日誌中大量的用戶訪問記錄深入分析,發現用戶的訪問模式和興趣愛好等有趣、新穎、潛在有用的以及可理解的未知信息和知識,用於分析站點的使用情況,從而輔助管理和支持決策。當前,web日誌挖掘主要被用於個性化服務與定製、改進系統性能和結構、站點修改、商業智能以及web特徵描述等諸多領域。
三、Web日誌挖掘的方法
(一)首先,進行數據的預處理。
從學習者的訪問日誌中得到的原始日誌記錄並不適於挖掘,必須進行適當的處理才能進行挖掘。因此,需要通過日誌清理,去除無用的記錄;對於某些記錄,我們還需要通過站點結構信息,把URL路徑補充成完整的訪問序列;然後劃分學習者,並把學習者的會話劃分成多個事務。
(二)其次,進行模式發現
一旦學習者會話和事務識別完成,就可以採用下面的技術進行模式發現。模式發現, 是對預處理後的數據用數據挖掘演算法來分析數據。分有統計、分類、聚類、關等多種方法。
① 路徑分析。它可以被用於判定在一個站點中最頻繁訪問的路徑,還有一些其它的有關路徑的信息通過路徑分析可以得出。路徑分析可以用來確定網站上的頻繁訪問路徑, 從而調整和優化網站結構, 使得用戶訪問所需網頁更加簡單快捷, 還可以根據用戶典型的瀏覽模式用於智能推薦和有針對性的電子商務活動。例如:70% 的學習者在訪問/ E-Business /M2時,是從/EB開始,經過/ E-Business /SimpleDescription,/ E-Business /M1;65%的學習者在瀏覽4個或更少的頁面內容後就離開了。利用這些信息就可以改進站點的設計結構。
② 關聯規則。 使用關聯規則發現方法,可以從Web的訪問事務中找到的相關性。關聯規則是尋找在同一個事件中出現的不同項的相關性,用數學模型來描述關聯規則發現的問題:x=>y的蘊含式,其中x,y為屬性——值對集(或稱為項目集),且X∩Y空集。在資料庫中若S%的包含屬性——值對集X的事務也包含屬性——值集Y,則關聯規則X=>Y的置信度為C%。
③ 序列模式。在時間戳有序的事務集中,序列模式的發現就是指那些如「一些項跟隨另一個項」這樣的內部事務模式。它能發現資料庫中如「在某一段時間內,客戶購買商品A,接著會購買商品B,爾後又購買商品C,即序列A→B→C出現的頻率高」之類的信息。序列模式描述的問題是:在給定的交易序列資料庫中,每個序列按照交易的時間排列的一組交易集,挖掘序列函數作用是返回該資料庫中高頻率出現有序列。
④ 分類分析。發現分類規則可以給出識別一個特殊群體的公共屬性的描述,這種描述可以用於分類學習者。分類包括的挖掘技術將找出定義了一個項或事件是否屬於數據中某特定子集或類的規則。該類技術是最廣泛應用於各類業務問題的一類挖掘技術。分類演算法最知名的是決策樹方法,此外還有神經元網路、Bayesian分類等。例如:在/ E-Business /M4學習過的學習者中有40%是20左右的女大學生。
⑤聚類分析。可以從Web訪問信息數據中聚類出具有相似特性的學習者。在Web事務日誌中,聚類學習者信息或數據項能夠便於開發和設計未來的教學模式和學習群體。聚類是將數據集劃分為多個類,使得在同一類中的數據之間有較高的相似度,而在不同類中的數據差別盡可能大。在聚類技術中,沒有預先定義好的類別和訓練樣本存在,所有記錄都根據彼此相似程度來加以歸類。主要演算法有k—means、DBSCAN等。聚類分析是把具有相似特徵的用戶或數據項歸類,在網站管理中通過聚類具有相似瀏覽行為的用戶。基於模糊理論的Web頁面聚類演算法與客戶群體聚類演算法的模糊聚類定義相同,客戶訪問情況可用URL(Uj)表示。有Suj={(Ci,fSuj(Ci))|Ci∈C},其中fSuj(Ci)→[0,1]是客戶Ci和URL(Uj)間的關聯度:式中m為客戶的數量,hits(Ci)表示客戶Ci訪問URL(Uj)的次數。利用Suj和模糊理論中的相似度度量Sfij定義建立模糊相似矩陣,再根據相似類[Xi]R的定義構造相似類,合並相似類中的公共元素得到的等價類即為相關Web頁面。
⑥統計。統計方法是從Web 站點中抽取知識的最常用方法, 它通過分析會話文件, 對瀏覽時間、瀏覽路徑等進行頻度、平均值等統計分析。雖然缺乏深度, 但仍可用於改進網站結構, 增強系統安全性, 提高網站訪問的效率等。
⑦協同過濾。協同過濾技術採用最近鄰技術,利用客戶的歷史、喜好信息計算用戶之間的距離,目標客戶對特點商品的喜好程度由最近鄰居對商品的評價的加權平均值來計算。
(三)最後,進行模式分析。
模式分析。基於以上的所有過程,對原始數據進行進一步分析,找出用戶的瀏覽模式規律,即用戶的興趣愛好及習慣,並使其可視化,為網頁的規劃及網站建設的決策提供具體理論依據。其主要方法有:採用SQL查詢語句進行分析;將數據導入多維數據立方體中,用OLAP工具進行分析並給出可視化的結果輸出。(分類模式挖掘、聚類模式挖掘、時間序列模式挖掘、序列模式挖掘、關聯規則等)
四、關聯規則
(一)關聯規則
顧名思義,關聯規則(association rule)挖掘技術用於於發現資料庫中屬性之間的有趣聯系。一般使用支持度(support)和置信度(confidence)兩個參數來描述關聯規則的屬性。
1.支持度。規則 在資料庫 中的支持度 是交易集中同時包含 , 的事務數與所有事務數之比,記為 。支持度描述了 , 這兩個項集在所有事務中同時出現的概率。
2.置信度。規則 在事務集中的置信度(confidence)是指同時包含 , 的事務數與包含 的事務數之比,它用來衡量關聯規則的可信程度。記為
規則 A Þ C:支持度= support({A}È{C}) = 50%,置信度= support({A}È{C})/support({A}) = 66.6%
(二)Apriori方法簡介
Apriori演算法最先是由Agrawal等人於1993年提出的,它的基本思想是:首先找出所有具有超出最小支持度的支持度項集,用頻繁的(k—1)-項集生成候選的頻繁k-項集;其次利用大項集產生所需的規則;任何頻繁項集的所有子集一定是頻繁項集是其核心。
Apriori演算法需要兩個步驟:第一個是生成條目集;第二個是使用生成的條目集創建一組關聯規則。當我們把最小置信度設為85%,通過關聯規則的形成以及對應置信度的計算,我們可以從中得到以下有用的信息:
1.置信度大於最小置信度時:我們可以這樣認為,用戶群體在瀏覽相關網頁時,所呈列的鏈接之間是有很大關聯的,他們是用戶群的共同愛好,通過網頁布局的調整,從某種意義上,可以帶來更高的點擊率及潛在客戶;
2.置信度小於最小置信度時:我們可以這樣認為,用戶群體對所呈列鏈接之間沒太多的關聯,亦或關聯規則中的鏈接在爭奪用戶。
五、網站中Web日誌挖掘內容
(1)網站的概要統計。網站的概要統計包括分析覆蓋的時間、總的頁面數、訪問數、會話數、惟一訪問者、以及平均訪問、最高訪問、上周訪問、昨日訪問等結果集。
(2)內容訪問分析。內容訪問分析包括最多及最少被訪問的頁面、最多訪問路徑、最多訪問的新聞、最高訪問的時間等。
(3)客戶信息分析。客戶信息分析包括訪問者的來源省份統計、訪問者使用的瀏覽器及操作系統分析、訪問來自的頁面或者網站、來自的IP地址以及訪問者使用的搜索引擎。
(4)訪問者活動周期行為分析。訪問者活動周期行為分析包括一周7天的訪問行為、一天24小時的訪問行為、每周的最多的訪問日、每天的最多訪問時段等。
(5)主要訪問錯誤分析。主要訪問錯誤分析包括服務端錯誤、頁面找不到錯誤等。
(6)網站欄目分析。網站欄目分析包括定製的頻道和欄目設定,統計出各個欄目的訪問情況,並進行分析。
(7)商務網站擴展分析。商務網站擴展分析是專門針對專題或多媒體文件或下載等內容的訪問分析。
(8)有4個方向可以選擇:①對用戶點擊行為的追蹤,click stream研究;②對網頁之間的關聯規則的研究;③對網站中各個頻道的瀏覽模式的研究;④根據用戶瀏覽行為,對用戶進行聚類,細分研究;(如果你能夠結合現有的互聯網產品和應用提出一些自己的建議和意見,那就更有價值了。)
(9)發現用戶訪問模式。通過分析和探究Web日誌記錄中的規律,可以識別電子商務的潛在客戶,提高對最終用戶的服務質量,並改進Web伺服器系統的性能。
(10)反競爭情報活動。反競爭情報是企業競爭情報活動的重要組成部分。
六、相關軟體及演算法
(一)相關軟體:
1.數據挖掘的專用軟體wake。
2.用OLAP工具
3.已經有部分公司開發出了商用的網站用戶訪問分析系統,如WebTrends公司的CommerceTrends 3.0,它能夠讓電子商務網站更好地理解其網站訪問者的行為,幫助網站採取一些行動來將這些訪問者變為顧客。CommerceTrends主要由3部分組成:Report Generation Server、Campain Analyzer和Webhouse Builder。
4.Accrue公司的Accrue Insight,它是一個綜合性的Web分析工具,它能夠對網站的運行狀況有個深入、細致和准確的分析,通過分析顧客的行為模式,幫助網站採取措施來提高顧客對於網站的忠誠度,從而建立長期的顧客關系。
(二)相關演算法:
1.運用各種演算法進行數據挖掘:GSP演算法, Prefixspana演算法,
2.關聯規則分析:Apriori、FP-growth演算法等。
3.Apriori演算法及其變種演算法
4.基於資料庫投影的序列模式生長技術(database project based sequential pattern growth)
5. Wake演算法、MLC++等
6. PageRank演算法和HITS演算法利用Web頁面間的超鏈接信息計算「權威型」(Authorities)網頁和「目錄型」(Hubs)網頁的權值。Web結構挖掘通常需要整個Web的全局數據,因此在個性化搜索引擎或主題搜索引擎研究領域得到了廣泛的應用。
7.參考檢索引擎的挖掘演算法,比如Apache的lucene等。
Ⅳ web挖掘怎麼實現
截止到今天為止,我尚不知道有什麼有價值的web挖掘系統存在,不過您可以參考檢索引擎的挖掘演算法,比如Apache的lucene等
http://lucene.apache.org/java/docs/index.html
-------------
並為您附錄以下信息:
近年來,隨著 Internet/Web技術的快速普及和迅猛發展,使各種信息可以以非常低的成本在網路上獲得,由於Internet/WWW在全球互連互通,可以從中取得的數據量難以計算,而且Internet/WWW的發展趨勢繼續看好,特別是電子商務的蓬勃發展為網路應用提供了強大支持,如何在WWW這個全球最大的數據集合中發現有用信息無疑將成為數據挖掘研究的熱點。
Web挖掘指使用數據挖掘技術在WWW數據中發現潛在的、有用的模式或信息。Web挖掘研究覆蓋了多個研究領域,包括資料庫技術、信息獲取技術、統計學、人工智慧中的機器學習和神經網路等。
2.Web挖掘流程
與傳統數據和數據倉庫相比,Web上的信息是非結構化或半結構化的、動態的、並且是容易造成混淆的,所以很難直接以Web網頁上的數據進行數據挖掘,而必須經過必要的數據處理。典型Web挖掘的處理流程如下[3]:
1.查找資源:任務是從目標Web文檔中得到數據,值得注意的是有時信息資源不僅限於在線Web文檔,還包括電子郵件、電子文檔、新聞組,或者網站的日誌數據甚至是通過Web形成的交易資料庫中的數據。
2.信息選擇和預處理:任務是從取得的Web資源中剔除無用信息和將信息進行必要的整理。例如從Web文檔中自動去除廣告連接、去除多餘格式標記、自動識別段落或者欄位並將數據組織成規整的邏輯形式甚至是關系表。
3.模式發現:自動進行模式發現。可以在同一個站點內部或在多個站點之間進行。
4.模式分析:驗證、解釋上一步驟產生的模式。可以是機器自動完成,也可以是與分析人員進行交互來完成。
Web挖掘作為一個完整的技術體系,在進行挖掘之前的信息獲得IR(Information Retrieval)和信息抽取IE(Information Extraction)相當重要。信息獲得(IR)的目的在於找到相關Web文檔,它只是把文檔中的數據看成未經排序的片語的集合,而信息抽取(IE)的目的在於從文檔中找到需要的數據項目,它對文檔的結構合表達的含義感興趣,它得一個重要任務就是對數據進行組織整理並適當建立索引。
信息獲得(IR)和信息抽取(IE)技術的研究已近有很長時間,隨著Web技術的發展,基於Web技術的IR、 IE得到了更多的重視。由於Web 數據量非常大,而且可能動態變化,用原來手工方式進行信息收集早已經力不從心,目前的研究方向是用自動化、半自動化的方法在Web上進行IR和IE。在 Web環境下既要處理非結構化文檔,又要處理半結構化的數據,最近幾年在這兩方面都有相應的研究成果和具體應用,特別是在大型搜索引擎中得到了很好的應用。
3.Web挖掘分類及各自的研究現狀及發展
根據對Web數據的感興趣程度不同,Web挖掘一般可以分為三類:Web內容挖掘(Web Content mining)、 Web結構挖掘( Web structure mining)、 Web 用法挖掘(Web usage Mining)
3.1、Web內容挖掘:
指從Web內容/數據/文檔中發現有用信息,Web上的信息五花八門,傳統的Internet由各種類型的服務和數據源組成,包括WWW、FTP、Telnet等,現在有更多的數據和埠可以使用,比如政府信息服務、數字圖書館、電子商務數據,以及其他各種通過 Web可以訪問的資料庫。Web內容挖掘的對象包括文本、圖象、音頻、視頻、多媒體和其他各種類型的數據。其中針對無結構化文本進行的Web挖掘被歸類到基於文本的知識發現(KDT)領域,也稱文本數據挖掘或文本挖掘,是Web挖掘中比較重要的技術領域,也引起了許多研究者的關注。最近在Web多媒體數據挖掘方面的研究成為另一個熱點。
Web內容挖掘一般從兩個不同的觀點來進行研究。從資源查找(IR)的觀點來看,Web內容挖掘的任務是從用戶的角度出發,怎樣提高信息質量和幫助用戶過濾信息。而從DB的角度講Web內容挖掘的任務主要是試圖對Web上的數據進行集成、建模,以支持對Web數據的復雜查詢。
3.1.1從資源查找(Information Retrival)的觀點挖掘非結構化文檔:
非結構化文檔主要指Web上的自由文本,包括小說、新聞等。在這方面的研究相對比較多一些,大部分研究都是建立在詞彙袋(bag of words)或稱向量表示法(vector representation)的基礎上,這種方法將單個的詞彙看成文檔集合中的屬性,只從統計的角度將詞彙孤立地看待而忽略該詞彙出現的位置和上下文環境。屬性可以是布爾型,根據詞彙是否在文檔中出現而定,也可以有頻度,即該詞彙在文檔中的出現頻率。這種方法可以擴展為選擇終結符、標點符號、不常用詞彙的屬性作為考察集合。詞彙袋方法的一個弊端是自由文本中的數據豐富,詞彙量非常大,處理起來很困難,為解決這個問題人們做了相應的研究,採取了不同技術,如信息增益,交叉熵、差異比等,其目的都是為了減少屬性。另外,一個比較有意義的方法是潛在語義索引(Latent Semantic Indexing),它通過分析不同文檔中相同主題的共享詞彙,找到他們共同的根,用這個公共的根代替所有詞彙,以此來減少維空間。例如: 「informing」、「information」、「informer」、「informed」可以用他們的根「inform」來表示,這樣可以減少屬性集合的規模。
其他的屬性表示法還有詞彙在文檔中的出現位置、層次關系、使用短語、使用術語、命名實體等,目前還沒有研究表明一種表示法明顯優於另一種。
用資源查找(Information Retrival)的觀點挖掘半結構化文檔:
與非結構化數據相比,Web上的半結構化文檔挖掘指在加入了HTML、超連接等附加結構的信息上進行挖掘,其應用包括超連接文本的分類、聚類、發現文檔之間的關系、提出半結構化文檔中的模式和規則等。
3.1.2從資料庫(Database)的觀點挖掘非結構化文檔:
資料庫技術應用於Web挖掘主要是為了解決Web信息的管理和查詢問題。這些問題可以分為三類:Web信息的建模和查詢;信息抽取與集成;Web站點建構和重構。
從資料庫的觀點進行Web內容挖掘主要是試圖建立Web站點的數據模型並加以集成,以支持復雜查詢,而不止是簡單的基於關鍵詞的搜索。這要通過找到Web文檔的模式、建立Web數據倉庫或Web知識庫或虛擬資料庫來實現。相關研究主要是基於半結構化數據進行的。
資料庫觀點主要利用OEM(Object Exchange Model)模型將半結構化數據表示成標識圖。OEM中的每個對象都有對象標識(OID)和值,值可以是原子類型,如整型、字元串型、gif、html 等,也可以是一個復合類型,以對象引用集合的形式表示。由於Web數據量非常龐大,從應用的角度考慮,很多研究只處理辦結構化數據的一個常用自集。一些有意義的應用是建立多層資料庫(MLDB),每一層是它下面層次的概化,這樣就可以進行一些特殊的查詢和信息處理。對於在半結構化數據上的查詢語言研究也得到了人們的重視並做了專題研究。
由於在資料庫觀點下數據的表示方法比較特殊,其中包含了關系層次和圖形化的數據,所以大部分建立在扁平數據集合之上的數據挖掘方法不能直接使用,目前已經有人針對多層資料庫挖掘演算法進行研究。
3.2、Web結構挖掘:
Web結構挖掘的對象是Web本身的超連接,即對Web文檔的結構進行挖掘。對於給定的Web文檔集合,應該能夠通過演算法發現他們之間連接情況的有用信息,文檔之間的超連接反映了文檔之間的包含、引用或者從屬關系,引用文檔對被引用文檔的說明往往更客觀、更概括、更准確。
Web結構挖掘在一定程度上得益於社會網路和引用分析的研究。把網頁之間的關系分為incoming連接和 outgoing連接,運用引用分析方法找到同一網站內部以及不同網站之間的連接關系。在Web結構挖掘領域最著名的演算法是HITS演算法和 PageRank演算法。他們的共同點是使用一定方法計算Web頁面之間超連接的質量,從而得到頁面的權重。著名的Clever和Google搜索引擎就採用了該類演算法。
此外,Web結構挖掘另一個嘗試是在Web數據倉庫環境下的挖掘,包括通過檢查同一台伺服器上的本地連接衡量 Web結構挖掘Web站點的完全性,在不同的Web數據倉庫中檢查副本以幫助定位鏡像站點,通過發現針對某一特定領域超連接的層次屬性去探索信息流動如何影響Web站點的設計。
3.3、Web用法挖掘(Web usage Mining):
即Web使用記錄挖掘,在新興的電子商務領域有重要意義,它通過挖掘相關的Web日誌記錄,來發現用戶訪問 Web頁面的模式,通過分析日誌記錄中的規律,可以識別用戶的忠實度、喜好、滿意度,可以發現潛在用戶,增強站點的服務競爭力。Web使用記錄數據除了伺服器的日誌記錄外還包括代理伺服器日誌、瀏覽器端日誌、注冊信息、用戶會話信息、交易信息、Cookie中的信息、用戶查詢、滑鼠點擊流等一切用戶與站點之間可能的交互記錄。可見Web使用記錄的數據量是非常巨大的,而且數據類型也相當豐富。根據對數據源的不同處理方法,Web 用法挖掘可以分為兩類,一類是將Web使用記錄的數據轉換並傳遞進傳統的關系表裡,再使用數據挖掘演算法對關系表中的數據進行常規挖掘;另一類是將Web 使用記錄的數據直接預處理再進行挖掘。Web 用法挖掘中的一個有趣的問題是在多個用戶使用同一個代理伺服器的環境下如何標識某個用戶,如何識別屬於該用戶的會話和使用記錄,這個問題看起來不大,但卻在很大程度上影響著挖掘質量,所以有人專門在這方面進行了研究。通常來講,經典的數據挖掘演算法都可以直接用到Web 用法挖掘上來,但為了提高挖掘質量,研究人員在擴展演算法上進行了努力,包括復合關聯規則演算法、改進的序列發現演算法等。
在[4]中,根據數據來源、數據類型、數據集合中的用戶數量、數據集合中的伺服器數量等將Web 用法挖掘分為五類:
●個性挖掘:針對單個用戶的使用記錄對該用戶進行建模,結合該用戶基本信息分析他的使用習慣、個人喜好,目的是在電子商務環境下為該用戶提供與眾不同的個性化服務。
●系統改進:Web服務(資料庫、網路等)的性能和其他服務質量是衡量用戶滿意度的關鍵指標,Web 用法挖掘可以通過用戶的擁塞記錄發現站點的性能瓶頸,以提示站點管理者改進Web緩存策略、網路傳輸策略、流量負載平衡機制和數據的分布策略。此外,可以通過分析網路的非法入侵數據找到系統弱點,提高站點安全性,這在電子商務環境下尤為重要。
●站點修改:站點的結構和內容是吸引用戶的關鍵。Web 用法挖掘通過挖掘用戶的行為記錄和反饋情況為站點設計者提供改進的依,比如頁面連接情況應如何組織、那些頁面應能夠直接訪問等。
●智能商務:用戶怎樣使用Web站點的信息無疑是電子商務銷售商關心的重點,用戶一次訪問的周期可分為被吸引、駐留、購買和離開四個步驟,Web用法挖掘可以通過分析用戶點擊流等Web日誌信息挖掘用戶行為的動機,以幫助銷售商合理安排銷售策略。
●Web特徵描述:這類研究跟關注這樣通過用戶對站點的訪問情況統計各個用戶在頁面上的交互情況,對用戶訪問情況進行特徵描述。
4.結束語
盡管Web挖掘的形式和研究方向層出不窮,但我認為隨著電子商務的興起和迅猛發展,未來Web挖掘的一個重要應用方向將是電子商務系統。而與電子商務關系最為密切的是用法挖掘(Usage Mining),也就是說在這個領域將會持續得到更多的重視。另外,在搜索引擎的研究方面,結構挖掘的研究已經相對成熟,基於文本的內容挖掘也已經有許多研究,下一步將會有更多的研究者把多媒體挖掘最為研究方向。
Ⅵ web日誌挖掘所用的web伺服器日誌文件都是如何獲得的 用沒有公用的數據集謝謝!!!
有,http://www.sogou.com/labs/dl/q.html
http://blog.csdn.net/discxuwei/article/details/5769480
Ⅶ Web挖掘在企業競爭情報中的應用
對Web的挖掘,主要通過3個途徑獲取競爭情報。
競爭對手Web站點的挖掘。企業網站包括企業各方面的信息,通過對競爭對手網站的挖掘,可以發現不少有價值的情報線索。如網上有關競爭對手的相關合同的具體資料、研發活動、客戶信息等,通過對這些信息進行挖掘整理,從而形成有價值的情報。
第三方網站。第三方網站主要包括政府網站、專業資料庫以及其他Web站點。政府網站是信息資源的最大擁有者,通過對政府網站的挖掘,可以更好地掌握行業的發展趨勢、理解政府的政策,以便做出正確的決策。專業資料庫主要有專利資料庫、商情資料庫、各種會議資料庫等。從專業資料庫中,可以檢索到各種不同的商情信息,可以更好地挖掘出競爭對手的市場營銷、成本定位、研發能力、組織結構等方面的內容。其他Web站點主要有競爭對手客戶站點、網路輿情論壇、求職網站及其他商業性Web站點。
企業自身Web站點的挖掘。對企業自身Web日誌的挖掘,可以從多途徑了解關注本企業的潛在客戶群。例如,通過對瀏覽者在伺服器上留下信息的挖掘,可以了解用戶的年齡結構、職業、愛好習慣等;運用統計學和心理學原理,可以挖掘出用戶對本企業的期望程度和分析產品需要改進之處等,以便有針對性地制定出相應的決策。
Ⅷ 日誌挖掘和數據挖掘和web日誌挖掘有什麼區別呢
web日誌是web伺服器對用戶訪問行為的記錄。所有用戶的訪問記錄就組成一個資料庫。資料庫清理之後,就可以運用頻繁模式挖掘,聚類分析等技術挖掘有趣的模式。日誌挖掘就很寬泛了
Ⅸ WEB挖掘的WEB挖掘-能挖到什麼
· 獲取競爭對手和客戶信息。Web不僅由頁面組成,而且還包含了從一個頁面指向另一個頁面的超鏈接。一個Web頁面的作者建立指向另一個頁面的指針,就可以看作是作者對另一頁面的認可。把另一頁面的來自不同作者的註解收集起來,就可以用來反映該頁面的重要性,並可以很自然地用於權威頁面的發現。另外一種重要的Web頁面是一個或多個Web頁面,它提供了指向權威頁面的鏈接集合,稱為Hub。Hub頁面本身可能並不突出,或者說可能沒有幾個鏈接指向它們,但是 Hub頁面卻提供了指向就某個話題而言最為突出的站點的鏈接。通過分析這類信息,企業可以獲得零售商、中間商、合作商以及競爭對手的信息。
· 發現用戶訪問模式。通過分析和探究Web日誌記錄中的規律,可以識別電子商務的潛在客戶,提高對最終用戶的服務質量,並改進Web伺服器系統的性能。 Web日誌記錄資料庫提供了有關Web動態的,基於URL、時間、IP地址和Web頁面內容的豐富信息,對它們進行分析,有助於發現潛在客戶、用戶和市場,有助於聚類用戶並將用戶分門別類,以實現個性化的市場服務。
·反競爭情報活動。反競爭情報是企業競爭情報活動的重要組成部分。忽視競爭對手的競爭情報活動、低估競爭對手搜集競爭情報的能力勢必導致企業失去已有的競爭優勢。Web站點是企業與外界進行交流的窗口,同時也是競爭對手獲取競爭情報的一個重要信息源。在競爭情報計算機系統中,可以充分利用Web挖掘技術,通過運用分析訪問者的IP地址、客戶端所屬域、信息訪問路徑,統計敏感信息訪問率等方法識別競爭對手,保護企業敏感性信息。
Ⅹ WEB挖掘的WEB挖掘-介紹
Web內容挖掘。Web內容挖掘是指對Web頁面內容及後台交易資料庫進行挖掘,從Web文檔內容及其描述中的內容信息中獲取有用知識的過程。同時還可以對Web的組織結構和鏈接關系進行挖掘,從人為的鏈接結構中獲取有用的知識。由於文檔之間的互連,WWW能夠提供除文檔內容之外的有用信息。利用這些信息,可以對頁面進行排序,發現重要的頁面。
·Web使用記錄挖掘。Web使用記錄挖掘是通過挖掘相應站點的日誌文件和相關數據來發現該站點上的瀏覽者的行為模式,獲取有價值的信息的過程。
Web挖掘的目標是從Web的超鏈接結構、網頁內容和使用日誌中探尋有用的信息。雖然Web挖掘使用了許多數據挖掘技術,但它並不僅僅是傳統數據挖掘的一個簡單應用。在過去20年中,許多新的挖掘任務和演算法被相繼發明。依據在挖掘過程中使用的數據類別,Web挖掘任務可以被劃分為三種主要類型:Web結構挖掘、Web內容挖掘和Web使用挖掘。