㈠ web數據挖掘的來源有哪些
微指數 ：新浪微博旗下/反映微博輿情或賬號發展走勢的數據分析工具
網路指數：網路旗下/以網路網民行為數據為基礎的數據分享平台，支持查詢需求圖譜
5118：支持查詢網站排名及發展趨勢、網路收錄情況等信息
㈡ web挖掘怎麼實現
截止到今天為止，我尚不知道有什麼有價值的web挖掘系統存在，不過您可以參考檢索引擎的挖掘演算法，比如Apache的lucene等
http://lucene.apache.org/java/docs/index.html
-------------
並為您附錄以下信息：
近年來，隨著 Internet/Web技術的快速普及和迅猛發展，使各種信息可以以非常低的成本在網路上獲得，由於Internet/WWW在全球互連互通，可以從中取得的數據量難以計算，而且Internet/WWW的發展趨勢繼續看好，特別是電子商務的蓬勃發展為網路應用提供了強大支持，如何在WWW這個全球最大的數據集合中發現有用信息無疑將成為數據挖掘研究的熱點。
Web挖掘指使用數據挖掘技術在WWW數據中發現潛在的、有用的模式或信息。Web挖掘研究覆蓋了多個研究領域，包括資料庫技術、信息獲取技術、統計學、人工智慧中的機器學習和神經網路等。
2．Web挖掘流程
與傳統數據和數據倉庫相比，Web上的信息是非結構化或半結構化的、動態的、並且是容易造成混淆的，所以很難直接以Web網頁上的數據進行數據挖掘，而必須經過必要的數據處理。典型Web挖掘的處理流程如下[3]：
1．查找資源：任務是從目標Web文檔中得到數據，值得注意的是有時信息資源不僅限於在線Web文檔，還包括電子郵件、電子文檔、新聞組，或者網站的日誌數據甚至是通過Web形成的交易資料庫中的數據。
2．信息選擇和預處理：任務是從取得的Web資源中剔除無用信息和將信息進行必要的整理。例如從Web文檔中自動去除廣告連接、去除多餘格式標記、自動識別段落或者欄位並將數據組織成規整的邏輯形式甚至是關系表。
3．模式發現：自動進行模式發現。可以在同一個站點內部或在多個站點之間進行。
4．模式分析：驗證、解釋上一步驟產生的模式。可以是機器自動完成，也可以是與分析人員進行交互來完成。
Web挖掘作為一個完整的技術體系，在進行挖掘之前的信息獲得IR（Information Retrieval）和信息抽取IE(Information Extraction)相當重要。信息獲得（IR）的目的在於找到相關Web文檔，它只是把文檔中的數據看成未經排序的片語的集合，而信息抽取(IE)的目的在於從文檔中找到需要的數據項目，它對文檔的結構合表達的含義感興趣,它得一個重要任務就是對數據進行組織整理並適當建立索引。
信息獲得（IR）和信息抽取(IE)技術的研究已近有很長時間，隨著Web技術的發展，基於Web技術的IR、 IE得到了更多的重視。由於Web 數據量非常大，而且可能動態變化，用原來手工方式進行信息收集早已經力不從心，目前的研究方向是用自動化、半自動化的方法在Web上進行IR和IE。在 Web環境下既要處理非結構化文檔，又要處理半結構化的數據，最近幾年在這兩方面都有相應的研究成果和具體應用，特別是在大型搜索引擎中得到了很好的應用。
3．Web挖掘分類及各自的研究現狀及發展
根據對Web數據的感興趣程度不同，Web挖掘一般可以分為三類：Web內容挖掘（Web Content mining）、 Web結構挖掘（ Web structure mining）、 Web 用法挖掘（Web usage Mining）
3．1、Web內容挖掘：
指從Web內容/數據/文檔中發現有用信息，Web上的信息五花八門，傳統的Internet由各種類型的服務和數據源組成，包括WWW、FTP、Telnet等，現在有更多的數據和埠可以使用，比如政府信息服務、數字圖書館、電子商務數據，以及其他各種通過 Web可以訪問的資料庫。Web內容挖掘的對象包括文本、圖象、音頻、視頻、多媒體和其他各種類型的數據。其中針對無結構化文本進行的Web挖掘被歸類到基於文本的知識發現（KDT）領域，也稱文本數據挖掘或文本挖掘，是Web挖掘中比較重要的技術領域，也引起了許多研究者的關注。最近在Web多媒體數據挖掘方面的研究成為另一個熱點。
Web內容挖掘一般從兩個不同的觀點來進行研究。從資源查找（IR）的觀點來看，Web內容挖掘的任務是從用戶的角度出發，怎樣提高信息質量和幫助用戶過濾信息。而從DB的角度講Web內容挖掘的任務主要是試圖對Web上的數據進行集成、建模，以支持對Web數據的復雜查詢。
3．1．1從資源查找（Information Retrival）的觀點挖掘非結構化文檔：
非結構化文檔主要指Web上的自由文本，包括小說、新聞等。在這方面的研究相對比較多一些，大部分研究都是建立在詞彙袋（bag of words）或稱向量表示法（vector representation）的基礎上，這種方法將單個的詞彙看成文檔集合中的屬性，只從統計的角度將詞彙孤立地看待而忽略該詞彙出現的位置和上下文環境。屬性可以是布爾型，根據詞彙是否在文檔中出現而定，也可以有頻度，即該詞彙在文檔中的出現頻率。這種方法可以擴展為選擇終結符、標點符號、不常用詞彙的屬性作為考察集合。詞彙袋方法的一個弊端是自由文本中的數據豐富，詞彙量非常大，處理起來很困難，為解決這個問題人們做了相應的研究，採取了不同技術，如信息增益，交叉熵、差異比等，其目的都是為了減少屬性。另外，一個比較有意義的方法是潛在語義索引（Latent Semantic Indexing），它通過分析不同文檔中相同主題的共享詞彙，找到他們共同的根，用這個公共的根代替所有詞彙，以此來減少維空間。例如： 「informing」、「information」、「informer」、「informed」可以用他們的根「inform」來表示，這樣可以減少屬性集合的規模。
其他的屬性表示法還有詞彙在文檔中的出現位置、層次關系、使用短語、使用術語、命名實體等，目前還沒有研究表明一種表示法明顯優於另一種。
用資源查找（Information Retrival）的觀點挖掘半結構化文檔：
與非結構化數據相比，Web上的半結構化文檔挖掘指在加入了HTML、超連接等附加結構的信息上進行挖掘，其應用包括超連接文本的分類、聚類、發現文檔之間的關系、提出半結構化文檔中的模式和規則等。
3．1．2從資料庫（Database）的觀點挖掘非結構化文檔：
資料庫技術應用於Web挖掘主要是為了解決Web信息的管理和查詢問題。這些問題可以分為三類：Web信息的建模和查詢；信息抽取與集成；Web站點建構和重構。
從資料庫的觀點進行Web內容挖掘主要是試圖建立Web站點的數據模型並加以集成，以支持復雜查詢，而不止是簡單的基於關鍵詞的搜索。這要通過找到Web文檔的模式、建立Web數據倉庫或Web知識庫或虛擬資料庫來實現。相關研究主要是基於半結構化數據進行的。
資料庫觀點主要利用OEM(Object Exchange Model)模型將半結構化數據表示成標識圖。OEM中的每個對象都有對象標識（OID）和值，值可以是原子類型，如整型、字元串型、gif、html 等，也可以是一個復合類型，以對象引用集合的形式表示。由於Web數據量非常龐大，從應用的角度考慮，很多研究只處理辦結構化數據的一個常用自集。一些有意義的應用是建立多層資料庫（MLDB），每一層是它下面層次的概化，這樣就可以進行一些特殊的查詢和信息處理。對於在半結構化數據上的查詢語言研究也得到了人們的重視並做了專題研究。
由於在資料庫觀點下數據的表示方法比較特殊，其中包含了關系層次和圖形化的數據，所以大部分建立在扁平數據集合之上的數據挖掘方法不能直接使用，目前已經有人針對多層資料庫挖掘演算法進行研究。
3．2、Web結構挖掘：
Web結構挖掘的對象是Web本身的超連接，即對Web文檔的結構進行挖掘。對於給定的Web文檔集合，應該能夠通過演算法發現他們之間連接情況的有用信息，文檔之間的超連接反映了文檔之間的包含、引用或者從屬關系，引用文檔對被引用文檔的說明往往更客觀、更概括、更准確。
Web結構挖掘在一定程度上得益於社會網路和引用分析的研究。把網頁之間的關系分為incoming連接和 outgoing連接，運用引用分析方法找到同一網站內部以及不同網站之間的連接關系。在Web結構挖掘領域最著名的演算法是HITS演算法和 PageRank演算法。他們的共同點是使用一定方法計算Web頁面之間超連接的質量，從而得到頁面的權重。著名的Clever和Google搜索引擎就採用了該類演算法。
此外，Web結構挖掘另一個嘗試是在Web數據倉庫環境下的挖掘，包括通過檢查同一台伺服器上的本地連接衡量 Web結構挖掘Web站點的完全性，在不同的Web數據倉庫中檢查副本以幫助定位鏡像站點，通過發現針對某一特定領域超連接的層次屬性去探索信息流動如何影響Web站點的設計。
3．3、Web用法挖掘（Web usage Mining）：
即Web使用記錄挖掘，在新興的電子商務領域有重要意義，它通過挖掘相關的Web日誌記錄，來發現用戶訪問 Web頁面的模式，通過分析日誌記錄中的規律，可以識別用戶的忠實度、喜好、滿意度，可以發現潛在用戶，增強站點的服務競爭力。Web使用記錄數據除了伺服器的日誌記錄外還包括代理伺服器日誌、瀏覽器端日誌、注冊信息、用戶會話信息、交易信息、Cookie中的信息、用戶查詢、滑鼠點擊流等一切用戶與站點之間可能的交互記錄。可見Web使用記錄的數據量是非常巨大的，而且數據類型也相當豐富。根據對數據源的不同處理方法，Web 用法挖掘可以分為兩類，一類是將Web使用記錄的數據轉換並傳遞進傳統的關系表裡，再使用數據挖掘演算法對關系表中的數據進行常規挖掘；另一類是將Web 使用記錄的數據直接預處理再進行挖掘。Web 用法挖掘中的一個有趣的問題是在多個用戶使用同一個代理伺服器的環境下如何標識某個用戶，如何識別屬於該用戶的會話和使用記錄，這個問題看起來不大，但卻在很大程度上影響著挖掘質量，所以有人專門在這方面進行了研究。通常來講，經典的數據挖掘演算法都可以直接用到Web 用法挖掘上來，但為了提高挖掘質量，研究人員在擴展演算法上進行了努力，包括復合關聯規則演算法、改進的序列發現演算法等。
在[4]中，根據數據來源、數據類型、數據集合中的用戶數量、數據集合中的伺服器數量等將Web 用法挖掘分為五類：
●個性挖掘：針對單個用戶的使用記錄對該用戶進行建模，結合該用戶基本信息分析他的使用習慣、個人喜好，目的是在電子商務環境下為該用戶提供與眾不同的個性化服務。
●系統改進：Web服務（資料庫、網路等）的性能和其他服務質量是衡量用戶滿意度的關鍵指標，Web 用法挖掘可以通過用戶的擁塞記錄發現站點的性能瓶頸，以提示站點管理者改進Web緩存策略、網路傳輸策略、流量負載平衡機制和數據的分布策略。此外，可以通過分析網路的非法入侵數據找到系統弱點，提高站點安全性，這在電子商務環境下尤為重要。
●站點修改：站點的結構和內容是吸引用戶的關鍵。Web 用法挖掘通過挖掘用戶的行為記錄和反饋情況為站點設計者提供改進的依，比如頁面連接情況應如何組織、那些頁面應能夠直接訪問等。
●智能商務：用戶怎樣使用Web站點的信息無疑是電子商務銷售商關心的重點，用戶一次訪問的周期可分為被吸引、駐留、購買和離開四個步驟，Web用法挖掘可以通過分析用戶點擊流等Web日誌信息挖掘用戶行為的動機，以幫助銷售商合理安排銷售策略。
●Web特徵描述：這類研究跟關注這樣通過用戶對站點的訪問情況統計各個用戶在頁面上的交互情況，對用戶訪問情況進行特徵描述。
4．結束語
盡管Web挖掘的形式和研究方向層出不窮，但我認為隨著電子商務的興起和迅猛發展，未來Web挖掘的一個重要應用方向將是電子商務系統。而與電子商務關系最為密切的是用法挖掘（Usage Mining），也就是說在這個領域將會持續得到更多的重視。另外，在搜索引擎的研究方面，結構挖掘的研究已經相對成熟，基於文本的內容挖掘也已經有許多研究，下一步將會有更多的研究者把多媒體挖掘最為研究方向。
㈢ 基於web的數據挖掘 如何實現
估計你是做一個收集web數據的項目吧！比如商業信息什麼的。
有一個軟體叫 商友-business partner,
當然源碼你是看不到的，你可以參考以下它的風格，和功能。一套正版的要1W多呢。網上有破解版的，你找找！
㈣ Web數據挖掘的作品目錄
INTRODUCTION
1.1 Crawling and Indexing
1.2 Topic Directories
1.3 Clustering and Classification
1.4 Hyperlink Analysis
1.5 Resource Discovery and Vertical Portals
1.6 Structured vs. Unstructured Data Mining
1.7 Bibliographic Notes
PART Ⅰ INFRASTRUCTURE
2 CRAWLING THE WEB
2.1 HTML and HTTP Basics
2.2 Crawling Basics
2.3 Engineering Large-Scale Crawlers
2.3.1 DNS Caching, Prefetching, and Resolution
2.3.2 Multiple Concurrent Fetches
2.3.3 Link Extraction and Normalization
2.3.4 Robot Exclusion
2.3.5 Eliminating Already-Visited URLs
2.3.6 Spider Traps
2.3.7 Avoiding Repeated Expansion of Links on Duplicate Pages
2.3.8 Load Monitor and Manager
2.3.9 Per-Server Work-Queues
2.3.10 Text Repository
2.3.11 Refreshing Crawled Pages
2.4 Putting Together a Crawler
2.4.1 Design of the Core Components
2.4.2 Case Study: Using w3c-1 i bwww
2.5 Bibliographic Notes
3 WEB SEARCH AND INFORMATION RETRIEVAL
3.1 Boolean Queries and the Inverted Index
3.1.1 Stopwords and Stemming
3.1.2 Batch Indexing and Updates
3.1.3 Index Compression Techniques
3.2 Relevance Ranking
3.2.1 Recall and Precision
3.2.2 The Vector-Space Model
3.2.3 Relevance Feedback and Rocchio's Method
3.2.4 Probabilistic Relevance Feedback Models
3.2.5 Advanced Issues
3.3 Similarity Search
3.3.1 Handling Find-Similar Queries
3.3.2 Eliminating Near Duplicates via Shingling
3.3.3 Detecting Locally Similar Subgraphs of the Web
3.4 Bibliographic Notes
PART Ⅱ LEARNING
SIMILARITY AND CLUSTERING
4.1 Formulations and Approaches
4.1.1 Partitioning Approaches
4.1.2 Geometric Embedding Approaches
4.1.3 Generative Models and Probabilistic Approaches
4.2 Bottom-Up and Top-Down Partitioning Paradigms
4.2.1 Agglomerative Clustering
4.2.2 The k-Means Algorithm
4.3 Clustering and Visualization via Embeddings
4.3.1 Self-Organizing Maps (SOMs)
4.3.2 Multidimensional Scaling (MDS) and FastMap
4.3.3 Projections and Subspaces
4.3.4 Latent Semantic Indexing (LSI)
4.4 Probabilistic Approaches to Clustering
4.4.1 Generative Distributions for Documents
4.4.2 Mixture Models and Expectation Maximization (EM)
4.4.3 Multiple Cause Mixture Model (MCMM)
4.4.4 Aspect Models and Probabilistic LSI
4.4.5 Model and Feature Selection
4.5 Collaborative Filtering
4.5.1 Probabilistic Models
4.5.2 Combining Content-Based and Collaborative Features
4.6 Bibliographic Notes
5 SUPERVISED LEARNING
5.1 The Supervised Learning Scenario
5.2 Overview of Classification Strategies
5.3 Evaluating Text Classifiers
5.3.1 Benchmarks
5.3.2 Measures of Accuracy
5.4 Nearest Neighbor Learners
5.4.1 Pros and Cons
5.4.2 Is TFIDF Appropriate?
5.5 Feature Selection
5.5.1 Greedy Inclusion Algorithms
5.5.2 Truncation Algorithms
5.5.3 Comparison and Discussion
5.6 Bayesian Learners
5.6.1 Naive Bayes Learners
5.6.2 Small-Degree Bayesian Networks
5.7 Exploiting Hierarchy among Topics
5.7.1 Feature Selection
5.7.2 Enhanced Parameter Estimation
5.7.3 Training and Search Strategies
5.8 Maximum Entropy Learners
5.9 Discriminative Classification
5.9.1 Linear Least-Square Regression
5.9.2 Support Vector Machines
5.10 Hypertext Classification
5.10.1 Representing Hypertext for Supervised Learning
5.10.2 Rule Inction
5.11 Bibliographic Notes
6 SEMISUPERVISED LEARNING
6.1 Expectation Maximization
6.1.1 Experimental Results
6.1.2 Recing the Belief in Unlabeled Documents
6.1.3 Modeling Labels Using Many Mixture Components
……
PART Ⅲ APPLICATIONS
……
序言
This book is about finding significant statistical patterns relating hypertext documents, topics, hyperlinks, and queries and using these patterns to connect users to information they seek. The Web has become a vast storehouse of knowledge, built in a decentralized yet collaborative manner. It is a living, growing, populist, and participatory medium of expression with no central editorship. This has positive and negative implications. On the positive side, there is widespread participation in authoring content. Compared to print or broadcast media, the ratio of content creators to the audience is more equitable. On the negative side, the heterogeneity and lack of structure makes it hard to frame queries and satisfy information needs. For many queries posed with the help of words and phrases, there are thousands of apparently relevant responses, but on closer inspection these turn out to be disappointing for all but the simplest queries. Queries involving nouns and noun phrases, where the information need is to find out about the named entity, are the simplest sort of information-hunting tasks. Only sophisticated users succeed with more complex queries——for instance, those that involve articles and prepositions to relate named objects, actions, and agents. If you are a regular seeker and user of Web information, this state of affairs needs no further description.
Detecting and exploiting statistical dependencies between terms, Web pages, and hyperlinks will be the central theme in this book. Such dependencies are also called patterns, and the act of searching for such patterns is called machine learning, or data mining. Here are some examples of machine learning for Web applications. Given a crawl of a substantial portion of the Web, we may be interested in constructing a topic directory like Yahoo！, perhaps detecting the emergence and decline of prominent topics with passing time. Once a topic directory is available, we may wish to assign freshly crawled pages and sites to suitable positions in the directory.
㈤ 如何通過用數據挖掘技術來分析Web網站日誌
1、數據預處理階段根據挖掘的目的，對原始Web日誌文件中的數據進行提取、分解、合並、最後轉換為用戶會話文件。該階段是Web訪問信息挖掘最關鍵的階段，數據預處理包括:關於用戶訪問信息的預處理、關於內容和結構的預處理。
2、會話識別階段該階段本是屬於數據預處理階段中的一部分，這里將其劃分成單獨的一個階段，是因為把用戶會話文件劃分成的一組組用戶會話序列將直接用於挖掘演算法，它的精準度直接決定了挖掘結果的好壞，是挖掘過程中最重要的階段。
3、模式發現階段模式發現是運用各種方法和技術從Web日誌數據中挖掘和發現用戶使用Web的各種潛在的規律和模式。模式發現使用的演算法和方法不僅僅來自數據挖掘領域，還包括機器學習、統計學和模式識別等其他專業領域。
模式發現的主要技術有：統計分析（statistical analysis）、關聯規則（association rules）、聚類（clustering）、歸類（classification）、序列模式（sequential patterns）、依賴關系（dependency）。
（1）統計分析（statistical analysis）：常用的統計技術有：貝葉斯定理、預測回歸、對數回歸、對數-線性回歸等。可用來分析網頁的訪問頻率，網頁的訪問時間、訪問路徑。可用於系統性能分析、發現安全漏洞、為網站修改、市場決策提供支持。
（2）關聯規則（association rules）：關聯規則是最基本的挖掘技術，同時也是WUM最常用的方法。在WUM中常常用在被訪問的網頁中，這有利於優化網站組織、網站設計者、網站內容管理者和市場分析，通過市場分析可以知道哪些商品被頻繁購買，哪些顧客是潛在顧客。
（3）聚類（clustering）：聚類技術是在海量數據中尋找彼此相似對象組，這些數據基於距離函數求出對象組之間的相似度。在WUM中可以把具有相似模式的用戶分成組，可以用於電子商務中市場分片和為用戶提供個性化服務。
（4）歸類（classification）：歸類技術主要用途是將用戶資料歸入某一特定類中，它與機器學習關系很緊密。可以用的技術有：決策樹（decision tree）、K-最近鄰居、Naïve Bayesian classifiers、支持向量機（support vector machines）。
（5）序列模式（sequential patterns）：給定一個由不同序列組成的集合，其中，每個序列由不同的元素按順序有序排列，每個元素由不同項目組成，同時給定一個用戶指定的最小支持度閾值，序列模式挖掘就是找出所有的頻繁子序列，即子序列在序列集中的出現頻率不低於用戶指定的最小支持度閾值。
（6）依賴關系（dependency）：一個依賴關系存在於兩個元素之間，如果一個元素A的值可以推出另一個元素B的值，則B依賴於A。
4、模式分析階段模式分析是Web使用挖掘最後一步，主要目的是過濾模式發現階段產生的規則和模式，去除那些無用的模式，並把發現的模式通過一定的方法直觀的表現出來。由於Web使用挖掘在大多數情況下屬於無偏向學習，有可能挖掘出所有的模式和規則，所以不能排除其中有些模式是常識性的，普通的或最終用戶不感興趣的，故必須採用模式分析的方法使得挖掘出來的規則和知識具有可讀性和最終可理解性。常見的模式分析方法有圖形和可視化技術、資料庫查詢機制、數理統計和可用性分析等。
㈥ 信息檢索，web數據挖掘 文本數據挖掘的區別是什麼我是一個計算機碩士，我該怎麼確定方向，嘀嗒網
問題描述：才能更容易的進入國家電網內部，比如電科院一類的單
位？是信息檢索還是數據挖掘
答案1：： 信息檢索是一門學科，所有與信息搜索有關的都可以歸為
信息檢索，比如你到圖書館找你想要的書也是信息檢索的一個方向；
WEB數據挖掘一般現在分為兩大類，一類關系知識挖掘，就是發現網路
連接的內在模式，一類是內容知識挖掘，內容知識挖掘可以劃分為結
構型、半結構型以及非結構型挖掘，文本挖掘屬於非結構型挖掘。
:::::::::::::::::::請參考以下相關問題::::::::::::::::::::
:::::::::::::::::::請參考以下相關問題::::::::::::::::::::
信息檢索與數據挖掘 論文
:::::::::::::::::::請參考以下相關問題::::::::::::::::::::
:::::::::::::::::::請參考以下相關問題::::::::::::::::::::
數據挖掘的web應用:::::::::::::::::::請參考以下相關問題::::::::::::::::::::
㈦ 超文本數據的Web數據挖掘-超文本數據的知識發現
《Web數據挖掘-超文本數據的知識發現(英文版)》
本書是信息檢索領域的名著，深入講解了從大量非結構化Web數據中提取和產生知識的技術。書中首先論述了Web的基礎(包括Web信息採集機制、Web標引機制以及基於關鍵字或基於相似性搜索機制)，然後系統地描述了Web挖掘的基礎知識，著重介紹基於超文本的機器學習和數據挖掘方法，如聚類、協同過濾、監督學習、半監督學習，最後講述了這些基本原理在Web挖掘中的應用。本書為讀者提供了堅實的技術背景和最新的知識。
本書是從事數據挖掘學術研究和開發的專業人員理想的參考書，同時也適合作為高等院校計算機及相關專業研究生的教材。
1INTRODUCTION
1.1Crawling and Indexing
1.2 Topic Directories
1.3 Clustering and Classification
1.4 Hyperlink Analysis
1.5 Resource Discovery and Vertical Portals
1.6 Structured vs. Unstructured Data Mining
1.7 Bibliographic Notes
PART Ⅰ INFRASTRUCTURE
2CRAWLING THE WEB
2.1 HTML and HTTP Basics
2.2 Crawling Basics
2.3 Engineering Large-Scale Crawlers
2.3.1 DNS Caching, Prefetching, and Resolution
2.3.2 Multiple Concurrent Fetches
2.3.3 Link Extraction and Normalization
2.3.4 Robot Exclusion
2.3.5 Eliminating Already-Visited URLs
2.3.6 Spider Traps
2.3.7 Avoiding Repeated Expansion of Links on Duplicate Pages
2.3.8 Load Monitor and Manager
2.3.9 Per-Server Work-Queues
2.3.10 Text Repository
2.3.11 Refreshing Crawled Pages
2.4 Putting Together a Crawler
2.4.1 Design of the Core Components
2.4.2 Case Study: Using w3c-libwww
2.5 Bibliographic Notes
3 WEB SEARCH AND INFORMATION RETRIEVAL
3.1 Boolean Queries and the Inverted Index
3.1.1 Stopwords and Stemming
3.1.2 Batch Indexing and Updates
3.1.3 Index Compression Techniques
3.2 Relevance Ranking
3.2.1 Recall and Precision
3.2.2The Vector-Space Model
3.2.3Relevance Feedback and Rocchio?s Method
3.2.4Probabilistic Relevance Feedback Models
3.2.5Advanced Issues
3.3Similarity Search
3.3.1Handling òFind-Similaró Queries
3.3.2Eliminating Near Duplicates via Shingling
3.3.3Detecting Locally Similar Subgraphs of the Web
3.4Bibliographic Notes
PART Ⅱ LEARNING
PART Ⅲ APPLICATIONS
References
Index