Ⅰ 信息檢索中主體法和分類法是如何進行信息存儲和檢索(原理和過程)
主題法和分類法在信息檢索中的原理基本相同。即信息儲存和信息檢索兩個過程。信息儲存是對文獻進行收集、標引及著錄,並加以有序化編排,編制信息檢索的工具的過程;信息檢索是從大量的信息中查找出用戶所需的特定信息的過程。而實施檢索的主要方法就是利用各種檢索工具。
但是也有細微的差別。
1、在主題概念表達上
分類語言的一個顯著特點是用碼號(如字母或數字)作為文獻的標識,標引或檢索時都必須使用分類號。主題語言則是直接以自然語言中的話詞作為標引和檢索的標識。
2.在主題概念的組織上
主題法與分類法都要將主題概念組織成可迅速查找的檢索工具或檢索系統。分類語言主要是按學科體系或邏輯體系組織的,由於分類體系不是顯而易見、易於掌握的,因此讀者在使用分類檢索工具或檢索系統時,往往難以確定新主題、細小主題以及復雜主題在體系中的准確位置。主題語言按照語調的字順來組織主題概念,因而可以直呼其名,依名檢索。
3.在主題內在關系的顯示上
分類語言中主題內在關系主要通過上下位類、同位類以及交替類目、參見類目和類目注釋來顯示。尤其在體系分類表中,類目之間的等級關系可以通過類目排列的位置、乃至印刷字體的不同而直接明顯地展示由來。因而分類法系統的系統性、等級性強,便於進行瀏覽性檢索,並可以根據檢索的需要進行擴檢和縮檢。主題語言中,主題內在關系主要通過建立詞間參照系統的方式來顯示。此外也通過輔助索引進行分類顯示。所以,在主題詞表中,相關主題之間的關系難以直接地、一目瞭然地展示出來,因而在族性檢索、尤其是較大范圍課題的檢索中,不如分類語言。
4、在標引方法上
使用分類語言標引時,主題分析的重點是辨別確定文獻主題的學科性質,以便進一步確定所屬類目。使用主題語言標引時,主題分析的重點是辯明文獻主題各構成因素之間的關系,區別論述對象的中心部分和次要部分,以便選定中心主題概念。分類法表現的是族性,主題法表現的是特性。
信息檢索的整個過程如圖。
Ⅱ 信息檢索是什麼
《信息檢索》是在2006年科學出版社出版的圖書,作者是徐天秀。
內容簡介
本書立足於介紹現代信息檢索的方法與技術,在對信息檢索基本知識、信息檢索工具及系統進行了全面闡述的基礎上,重點介紹了國內外重要電子信息資源、網路信息資源的檢索與利用,也對部分重要的印刷型檢索工具書進行了介紹,為讀者提供了較全面的信息檢索知識。
本書是一本工具型書籍,提供的信息檢索學科範圍廣,內容盡量以最新版本為主,是一本適用性強的學習信息檢索方法和技巧的專著。
本書既可作為師范院校、綜合性院校及理工科院校的本科生、研究生的教材,又可作為教學、科研及各界信息用戶的參考工具書。
前言
信息社會,人們把信息、物質與能量一起稱為人類社會賴以生存發展的三大要素。信息是促進社會經濟、科學技術以及人類生活向前發展的重要因素。一個國家的科技進步和社會發展越來越取決於對信息的開發與利用,誰能充分開發和有效地利用信息資源,誰就能搶占科學技術發展的制高點。
社會的信息化環境使社會對人才的要求更高,信息素質成為現代化人才必備的基本素質之一。當今,信息呈爆炸式增長,不僅如此,信息載體也發生了巨大的變化,除傳統紙介質信息外,每天都有大量的磁載體信息、電子版信息及各類網上信息涌現出來,這些浩如煙海的信息的多樣性、離散性與無序性及其復雜的檢索界面和使用方法,增加了信息利用的難度,極大地影響了人們獲取信息的質量與效率。
1984年,教育部就提出在大學生中開設"文獻檢索與利用"課程,"信息檢索"是該課程的延續和發展,其目的就是培養學生的信息素質,使學生在增強信息意識的基礎上,熟悉檢索工具和系統,掌握信息檢索的方法和技巧,提高自學能力,激發創新能力。為此,我們在長期信息檢索課教學的基礎上總結經驗,並博採各類相關教材之精華,編寫了《信息檢索》一書。
本教材以師范類專業為主要介紹對象,並兼顧其他各學科專業,因此,所介紹的專業信息檢索,學科門類較齊全。其特點如下:
(1)根據師范院校綜合性和多學科特點,注意介紹了師范專業所涉及的絕大部分學科和專業的信息檢索。
(2)電子版檢索工具具有方便、快捷地獲取信息的優點,深受用戶喜歡。電子版檢索系統和工具越來越多,各個學科都出版了不少資料庫,為了突出電子版檢索工具,本教材特意把"綜合性電子信息資源的利用"設為一章。
(3)相對而言,社會科學信息檢索部分的電子信息資源出版物不多,該章節電子信息資源的利用部分就置於檢索工具書之後介紹;自然科學部分介紹的幾種常用的檢索工具書都有其對應的電子版,為達到推薦電子資源的作用,故先介紹電子版,然後是相對應的印刷型檢索工具。
(4)中國絕大多數圖書館已經實現了管理自動化和網路化,為幫助讀者有效地利用現代化圖書館資源,我們專門以"現代化圖書館及其利用介紹"為一章,幫助讀者了解現代化圖書館,達到有效利用館藏文獻資源的目的。
Ⅲ 急急急~網路信息檢索方法與應用 論文
我給你找了一篇,摘要如下:
隨著Internet在全世界范圍內迅猛發展,網上龐大的數字化信息和人們獲取信息之間的矛盾日益突出。因此,對網路信息的檢索技術及其發展趨勢進行探討和研究,是一個既迫切而又實用的課題。本文通過對網路信息檢索的基本原理、網路信息檢索的技術及工具、網路信息檢索的現狀等方面進行分析研究,並對網路信息檢索的發展趨勢進行了預測,旨在尋找提高網路信息檢索的手段和方法的有效途徑,並最終提高網路信息的檢索效果,使得網路信息資源得到充分有效地利用。
全文主要包括六個部分,
第一部分為網路信息檢索述評,主要是闡述了網路信息檢索所涉及到的有關概念,如信息檢索技術、網路信息檢索的特點及網路信息檢索效果評價。
第二部分重點討論了網路信息檢索的基本技術。如信息推拉技術、數據挖掘技術、信息過濾技術、自然語言處理技術等等,旨在弄清網路信息檢索的技術支撐,為預測網路信息檢索的發展趨勢作下鋪墊。
第三部分對網路信息檢索的重要工具——搜索引擎進行了闡述,主要從其檢索機制入手,分析了不同種類的搜索引擎的檢索特點及功能。其獨到之處在於對搜索引擎的基本功能進行了比較全面的概括,並對目前流行的搜索引擎進行科學的分類...
第四部分分析討論了檢索技術的另一分支—基於內容的檢索技術
第五部分則分析了網路信息搜索工具的局限,主要從文本信息檢索和多媒體信息檢索兩方面進行闡述。
好不容易給轉成 .txt文本,貼在下面:
1.1網路信息資源
網路信息資源是指「通過國際Intemet可以利用的各種信息資源」的總稱。
隨著Intemet的迅速發展,網上信息資源也以指數形式增加,網路信息資源作
為一種新型的信息資源,發揮著越來越重要的作用,其內容幾乎無所不包,涉
及政治、經濟、文化、科學、娛樂等各個方面;其媒體形式多種多樣,包括文
本、圖形、圖像、聲音、視頻等;其范圍覆蓋社會科學、自然科學、人文科學
和工程技術等各個領域。
1.2信息檢索技術
信息檢索技術是現代信息社會中非常關鍵的技術之一。信息檢索是指將信
息按一定的方式組織和存儲起來,並根據信息用戶的信息需求查找所需信息的
過程和技術,所以信息檢索的全稱又叫「信息存儲與檢索」。狹義的信息檢索
僅指從信息集合中找出所需信息的過程,也就是利用信息系統檢索工具查找所
需信息的過程。人們獲取信息源的方式主要有:①遵循傳統的檢索方法在浩如
煙海的圖書館資料中,通過人工查找索引找到對應的文獻索引號再獲取文獻原
文;②聯機信息檢索。這其中也存在一個發展過程,由檢索結果來看,從提供
目錄、文摘等相關的二次信息檢索到可以直接獲得電子版的全文;由檢索方法
來看,從對特定關鍵詞或者如作者、機構等輔助信息作為檢索入口的常規檢索
到以原始文獻中任意詞檢索的全文檢索等等。其中,全文檢索由於其包含信息
的原始性、信息檢索的徹底性、所用檢索語言的自然性等特點在近年來發展比
較迅速,成為深受人們關注的一種非常有效的信息檢索技術,它是從大容量文
檔庫中精確定位所需信息的最有效手段l3]。
.3.2web信息檢索
其檢索方式有:瀏覽器方式和搜索引擎方式。
(l)瀏覽器方式(Br,singsystelns)。只要能夠進入hitemct就能夠通過瀏
覽器,利用HTTP協議提供的WV乃萬服務,瀏覽認觸b頁面和通過W匕b頁面提
供的檢索方式訪問資料庫。
(2)搜索引擎方式(SearehEngines)。搜索引擎是intemet提供公共信息檢
索服務的W七b站點,它是以一定的技術和策略在intemet中搜集和發現網路信
息,並對網路信息進行理解、提取和處理,建立資料庫,同時以認倪b形式提
供一個檢索界面,供用戶輸入檢索關鍵詞、片語或短語等檢索項,代替用戶在
資料庫中查找出與提問相匹配的記錄,同時返回結果且按相關度排序輸出,從
而起到快速查找信息的目的。搜索引擎所處理的信息資源主要包括萬維網服務
器上的信息,另外還包括電子郵件和新聞組信息。搜索引擎服務的宗旨是為滿
足用戶的信息需要,所以它是面向用戶的,採用的方式是互動式的。
網路信息檢索工具採用主動提交或自動搜索兩種方法搜索數據。
1.4網路信息檢索效果評價
目前,得到普遍認同的檢索效果的評價標准主要有以下幾個:查全率、查
准率、收錄范圍、輸出格式,其中以查全率和查准率最為重要。
現代信息科學技術的發展,為人們提供了多種多樣的信息獲取和傳送方法
及技術,從「信源」與「用戶」的關系來看,可分為兩種模式:「信息推送」
模式(InformationPush),由「信源」主動將信息推送給「用戶」,如電台廣播;
「信息拉取」模式(InformationPull),由「用戶」主動從「信源」中拉取信息,
如查詢資料庫。
2.2.1信息推送技術
「推」模式網路信息服務,是基於網路環境下的一種新的服務形式,即信
息服務者在網上利用「Push」技術為特定用戶開展信息服務的方式。Push技術
之所以成為Intemet上一項新興的技術,是因為藉助該技術使網路信息服務具
有主動性,不僅可以直接把用戶感興趣的信息推送給用戶,而且可有效地利用
網路資源,提高網路吞吐率;再者,Push技術還允許用戶與提供信息的伺服器
之間透明地進行通信,極大地方便了用戶。
所謂Push技術,又稱「推送」技術、Web廣播(Webeasting)技術,實質
上是一種軟體,這種軟體可以根據用戶定義的准則,自動搜集用戶最可能發生
興趣的信息,然後在適當的時候,將其傳遞至用戶指定的「地點」。因而從技
術上看,「推」模式網路信息服務就是具有一定智能性的、可以自動提供信息
服務的一組計算機軟體,該軟體不僅能夠了解、發現用戶的興趣(可能關心的
某些主題的信息),還能夠主動從網上搜尋信息,並經過篩選、分類、排序,
然後按照每個用戶的特定要求,主動推送給用戶141。
(l)信息推送方式。信息推送方式分兩類,即網播方式和智能方式。
網播方式有:頻道式推送。頻道式網播技術是目前普遍採用的一種模式,
它將某些頁面定義為瀏覽器中的頻道,用戶可像選擇電視頻道那樣接受有興趣
的網播信息;郵件式推送,用電子郵件方式主動將所推送信息發布給各用戶,
如國際會議的通知、產品的廣告等:網頁式推送。在一個特定網頁內將所推送
信息發布給各用戶,如某企業、某組織、某個人的網頁;專用式推送。採用專
門的信息發送和接收軟體,信源將信息推送給專門用戶,如機密的點對點通信。
智能推送方式有:操作式推送(客戶推送式),由客戶數據操作啟動信息
推送。當某客戶對數據進行操作時,把修改後的新數據存入資料庫後,即啟動
信息推送過程,將新數據推送給其他客戶;觸發式推送(伺服器推送式),由
ll碩士學位論文
MASTER,5THESIS⑧
資料庫中的觸發器啟動信息推送過程,將新數據推送給其他客戶,當數據發生
變化,如出現增加(Insert)、刪除(Delete)、修改(update)操作時,觸發器
啟動信息推送過程。
(2)信息推送的特徵。信息推送的特徵有:主動性、針對性、智能性、高效
性·靈活性和綜合性I5]。
主動性。Push技術的核心就是服務方不需要客戶方的及時請求而主動地將
數據傳送到客戶方。因而,主動性是「推」模式網路信息服務最基本特徵之一。
這也是它與基於瀏覽器的「拉」(Pull)模式的被動服務的鮮明對比。
針對性(個性化)。針對性是說,Push技術可以針對用戶的特定信息需求
進行檢索、加工和推送,並根據用戶的特定信息需求為其提供個人定製的檢索
界面。
智能性。Push伺服器能夠根據用戶的要求自動搜集用戶感興趣的信息並定
期推送給用戶。甚至,Push技術中的「客戶代理(ClientAgent)」可以定期自
動對預定站點進行搜索,收集更新信息送回用戶。同時個人信息服務代理和主
題搜索代理還可為了提高「推送」的准確性,控制搜索的深度,過濾掉不必要
的信息,將認飛b站點的資源列表及其更新狀態配以客戶代理完成。因而,網
絡環境下的「推」模式信息服務具有較高的智能性。這也是傳統的定題服務
(SDI)不能比的。
高效性。高效性是網路環境下「推」模式信息服務的又一個重要特徵。Push
技術的應用可在網路空閑時啟動,有效地利用網路帶寬,比較適合傳送大數據
量的多媒體信息。
靈活性。靈活性是指用戶可以完全根據自己的方便和需要,靈活地設置連
接時間,通過E一mail、對話框、音頻、視頻等方式獲取網上特定信息資源。
綜合性。「推」模式網路信息服務的實現,不僅需要信息技術設備,而且
還依賴於搜尋軟體、分類標引軟體等多種技術的綜合[6]。
但在當前信息技術的發展階段,「推」技術還存在很大的缺陷,比如:不
能確保信息發送,沒有狀態跟蹤,缺乏群組管理功能等等。因此,國內外的研
究者們又提出超級推(BeyondPush)技術的理論。所謂超級推技術是在保留、繼
承、完善了Push的優點(主動傳遞和個性化定製),摒棄了Push的諸多缺點之
!2碩士學位論文
MASTER,5THESIS管
後而發展起來的一種新型的Push技術。它的最大特點是在於保證傳送。即所
有的信息都是在特定的時間送給特定的信息用戶,同時保持連續性的用戶資
料,隨時可以知道誰收到了信息,信息是否為該用戶定製,用戶環境是否適當
等等[刀。
2.2.2信息拉取技術
常用的、典型的信息拉取技術,如資料庫查詢,是由用戶主動查詢資料庫,
從資料庫中拉取所需信息。其主要優點是:針對性好,用戶可針對自己的需求
有目的地去查詢、搜索所需的信息。
Intemet上的信息拉取技術可以說是資料庫查詢技術的擴展和延伸。在網
絡上,用戶面對的不止是一個資料庫,而是擁有海量信息的hitemet環境,因
此,各種網路信息拉取(查詢)的輔助工具—搜索引擎應運而生了。信息推送與信息拉取兩種模式各有其特點,在實際中常常是將兩者的結合
起來,常用的結合方式為:
(1)「先推後拉」式。先及時地推送最新信息(更新的動態信息),再有針
對性地拉取所需的信息。這樣,便於用戶注意信息變化的新情況和趨勢,從而
動態地選取需要深入了解的信息。
(2)「先拉後推」式。用戶先拉取所需信息,然後根據用戶的興趣,再有針
對性地推送相關的其它信息。
(3)「推中有拉」式。在信息推送過程中,允許用戶隨時中斷、定格在所感
興趣的網頁上,作進一步的搜索,主動拉取更豐富的信息。
(4)「拉中有推」式。在用戶拉取信息的搜索過程中,根據用戶輸入的關鍵
詞,信源主動推送相關信息和最新信息。這樣既可以及時地、有針對性時為用
戶服務,又可以減輕網路的負擔,並便於擴大用戶范圍[8]。
因此,信息推送與信息拉取相結合是當前Intemet、資料庫系統及其它信
息系統為用戶提供主動信息服務的一個發展方向。
2.3Web挖掘技術
隨著功temet的發展,W己b已經成為人類社會的公共信息源。在hitemet
給人類帶來前所未有的信息機遇的同時,又使得人類的信息環境更加復雜,人碩士學位論文
MASTER,5THESIS⑧
類如何利用信息的問題非但沒有如預想的通過信息技術的發展得到圓滿的解
決,相反,隨著信息技術的發展,信息量的激增,造成了個人實際所需信息量
與研觸b上的海量信息之間的矛盾,因而也就造成了個人利用信息的困難。在
這種情況下,雖然出現了叭范b環境下的專門檢索工具,但是由於搜索引擎是
由傳統檢索技術發展而來,在當前用戶要求不斷提高的情況下,傳統的搜索技
術己經不能夠滿足人們的需要。為了更加有效地利用網路信息資源,W七b挖掘
作為新的知識挖掘的手段,為Web信息的利用提出了新的解決方案叨。
2.3,1姍eb挖掘的內容
數據挖掘就是從大量的、不完全的、有雜訊的、模糊的、隨機的數據中,
提取隱含在其中的、人們事先不知道的、但又是潛在有用的信息和知識的過程。
Web挖掘則是從WWW及其相關的資源和行為中抽取有用的模式和隱含信息。其
中WWW及其相關資源是指存在於WWW之上的Web文檔及Web伺服器上的日誌文
件以及用戶資料,從Web挖掘的概念中應當看出Web挖掘在本質上是一種知識
發現的手段,它主要從下面3個方面進行仁』時。
(1)Web內容挖掘。W七b內容挖掘是從W匕b數據中抽取知識,以實現Web
資源的自動檢索,提高web數據的利用效率。隨著Intemet的進一步延伸,Web
數據越來越龐大,種類越來越繁多,數據的形式既有文本數據信息,也有圖像、
聲音、視頻等多媒體數據信息,既有來自於資料庫的結構化數據,也有用HTML
標記的半結構化數據及非結構化的自由文本數據信息。因而,對W己b內容信
息挖掘主要從下面兩個角度進行〔」]。
一是從信息檢索的角度,主要研究如何處理文本格式和超級鏈接文檔,這
些數據是非結構化或半結構化的。處理非結構化數據時,一般採用詞集方法,
用一組組詞條來表示非結構化的文本,先用信息評價技術對文本進行預處理,
然後採取相應的模型進行表示。另外,還可以用最大字序列長度、劃分段落、
概念分類、機器學習和自然語言統計等方法來表示文本。處理半結構化數據時,
可以利用一些相關演算法給超級鏈接分類,尋求認七b頁面關系,抽取規則。同
處理非結構化數據相比,由於半結構化數據增加了HTM毛標記信息及Web文
檔內部超鏈結構,使得表示半結構化數據的方法更加豐富。
二是從資料庫的角度,主要處理結構化的W匕b資料庫,也就是超級鏈接
14⑧蕊譽蕊
文檔,數據多採用帶權圖或者對象嵌入模型(OME),或者關系資料庫表示,
應用一定的演算法,尋找出網站頁面之間的內在聯系,其主要目的是推導出Web
站點結構或者把W匕b變成一個資料庫,以便進行更好的信息管理和查詢。數
據庫管理一般分成三個方面:一是模型化,研究認觸b上的高級查詢語言,使
其不局限於關鍵字查詢;二是信息的集成與抽取,把每個W七b站點及其包裝
程序看成是一個認范b數據源,通過W七b數據倉庫(data~house)或虛擬W七b資料庫實現多種數據來源的集成;三是叭幾b站點的創建與重構,通過研
究web上的查詢語言來實現建立並維護web站點的途徑[』「]。
(2)札b結構挖掘。W匕b結構挖掘,主要指的是通過對W七b文檔的分析,從
文檔之間的組織結構獲取有用的模式。W匕b內容挖掘研究的是文檔內的關系,
W七b結構挖掘關注的則是網站中的超級鏈接結構之間的關系,找到隱藏在一個
個頁面之後的鏈接結構模型,可以用這個模型對W七b頁面重新分類,也可以
用於尋找相似的網站。
W七b結構挖掘處理的數據類型為W七b結構化的數據。結構化數據是描述
網頁內容組織方式的數據,頁內結構可以用超文本標記語言等表示成樹型結
構,此外頁間結構還可以用連接不同網頁的超鏈結構表示。文檔間的鏈接反映
了文檔信息間的某種聯系,如隸屬平行關系、引用與被引用關系等。對W七b
頁面的超級鏈接進行分類,可以判斷與識別頁面信息間的屬性關系。由於Web
頁面內部存在或多或少的結構信息,通過研究W亡b頁面內部結構,可尋找出
與用戶選定的頁面集合信息相關的其它頁面信息模式,以檢測W己b站點所展
示的信息完整程度。
③Web行為挖掘。所謂W己b用戶行為挖掘主要是通過對認尼b伺服器的日
志文件以及用戶信息的分析,從而獲得有關用戶的有用模式。W七b行為挖掘的
數據信息主要指網路日誌中包括的用戶行為模式,它包括檢索時間、檢索詞、
檢索路徑、檢索結果以及對哪些檢索結果進行了瀏覽。由於W七b自身的異質、
分布、動態、無統一結構等特點,使得在認七b網上進行內容挖掘比較困難,
它需要在人工智慧和自然語言理解等方面有所突破。所幸的是基於W七b服務
器的109日誌存在著完整的結構,當信息用戶訪問web站點時,與訪問相關的
頁面、時間、用戶ro等信息,日誌中都作了相應的記錄,因而對其進行信息
l5碩士學位論文
MASTER,5THESIS⑥
挖掘是可行的,也是有意義的。在技術實踐過程中,一般先把日誌中的數據映
射成諸種關系信息,並對其進行預處理,包括清除與挖掘不相關的信息等。為
了提高性能,目前對109日誌數據信息挖掘採用的方法有路徑分析、關聯規則、
模式發現、聚類分析等。為了提高精確度,行為挖掘也應用到站點結構信息和
頁面內容信息等方面。
2.3.2web挖掘技術在網路信息檢索中的應用
(l)Web內容挖掘在檢索中的應用。W匕b內容挖掘是指從文檔內容及其描述
中獲取知識的過程,由於用傳統的信息檢索技術對W己b文檔的處理不夠深入,
因此,可以利用叭觸b內容挖掘技術來對網路信息檢索中的W己b文檔處理部分
進行進一步的完善,具體而言表現在以下幾個方面。
①文本總結技術。文本總結技術是指從文檔中抽取出關鍵信息,然後以簡
潔的形式對W匕b文檔的信息進行摘要或表示。這樣用戶通過瀏覽這些關鍵信
息,就可以對W七b網頁的信息有大致的了解,決定其相關性並對其進行取捨。
②文本分類技術。W匕b內容挖掘中的文本分類指的是按照預先定義的主題
類別,利用計算機自動為文檔集合中的每一個文檔進行分類。分類在網路信息
檢索中的價值在於可以縮小檢索范圍,大大提高查准率。目前,己經出現了很
多文本分類技術,如TFIFF演算法等,由於文本挖掘與搜索引擎所處理的文本幾
乎完全一樣,所以可以直接將文本分類技術應用於搜索引擎的自動分類之中,
通過對大量頁面自動、快速、有效的分類,來提高文檔檢索的查准率。
③文本聚類技術。文本聚類與文本分類的過程J險洽相反,文本聚類指的是
將文檔集合中的文檔分為更小的簇,要求同一簇內的文檔之間的相似性盡可能
大,而簇與簇之間的關系盡可能小,這些簇相當於分類表中的類目。文本聚類
技術不需要預先定義好的主題類別,從而使得搜索引擎的類目能夠與所收集的
信息相適應。文本聚類技術與人工分類相比,它的分類更加迅速、客觀。同時,
文本聚類可與文本分類技術相結合,使得信息處理更加方便。可以對檢索結果
進行分類,並將相似的結果集中在一起。
(2)Web結構挖掘在網路信息檢索中的應用。W匕b的信息組織方式採用了一
種非平面結構,一般來說W己b的信息組織方式是根據內容來進行組織的。但
是由於W匕b的這些結構信息比較難以處理,所以搜索引擎一般不處理這些信
16碩士學位論文
MASTER,S竹正515⑧
息,而是將叭觸b頁面作為平面機構的文本進行處理。但是,在從觸b結構挖掘
中,通過對研觸b文檔組織結構的挖掘,搜索引擎可以進一步擴展搜索引擎的
檢索能力,改善檢索效果〔』3]。
(3)脆b行為挖掘在網路信息檢索中的應用。認觸b行為挖掘是一種通過挖掘
總結出用戶的檢索行為的模式。用戶的檢索行為一直是信息檢索中重要的研究
內容,通過研觸b行為挖掘,不僅可以發現多數用戶潛在共同的行為模式,而
且還可以發現單個用戶的個性化行為,對這些模式進行研究,可以更好地對搜
索引擎的檢索效果進行反饋,以便進一步改進搜索策略,提高檢索效果。
2.3.3web挖掘技術的局限及方向
(1)孔b內容挖掘。W七b上的數據不管是用HTML還是XML標記語言表示,
都不能完全解決W七b數據的非結構性問題,特別是漢語句子格式繁多,虛詞、
實詞沒有絕對的界限,切分詞難度大,這些是造成無法對數據進行完全自動標
引的根本性問題,因此,從七b內容挖掘技術有必要結合數據倉庫等信息技術進
行信息存儲,並最終實現智能化、自動化的數據表示和標引,以供搜索之用。
通常數據的表示和數據的利用形式是相互關聯的,因此,設計相應的具有高查
全率和查准率的挖掘演算法也和數據表示一樣是未來的方向之一。另外多媒體數
據如何進行識別分類標引,這也是未來的研幾b內容挖掘研究的難點和方向。
(2)梅b結構數據挖掘。隨著Intemet的迅猛發展,網站的內容也越來越豐
富,結構也越來越龐雜,用有向圖表示巨型網站鏈接結構將不能滿足數據處理
的需要,需要設計新的數據結構來表示網站結構。
由於用來作對比分析發現問題所在的用戶使用信息只有日誌流,那麼,對
用戶使用日誌流中每一鏈接關系如何識別、採用什麼結構表示、如何抽取有用
的模式等等,不僅是認飛b行為挖掘的重要研究內容也是網站結構挖掘的重要
研究方向之一。
(3),eb用戶行為挖掘。由於Iniemet傳輸協議HTTP的無狀態性,客戶端、
代理伺服器端緩存的存在,使用戶訪問日誌分別存在於伺服器、代理伺服器和
客戶端,因此,從W七b用戶訪問日誌中研究用戶訪問規律最大的難點在於如
何把分布於不同位置的訪問日誌經過預處理,形成一個個用戶一次的訪問期
間。通常來講,對於靜態W七b網站,伺服器端的日誌容易取得,客戶端和代
l7理伺服器用戶訪問日誌不容易取得;其次,由於一個完整的W匕b是由一個個
圖片和框架頁面組成的,而用戶訪問伺服器也有並發性,在確定用戶訪問內容
時,必須從伺服器日誌中甄選出某個用戶實際請求的頁面和頁面的主要內容。
另外,由於目前已經有的數據挖掘演算法主要是在大量交易數據基礎上發展起來
的,在處理海量Web用戶訪問日誌中也需要重新設計演算法結構〔』41。
2.4信息過濾技術
hitemet開放式的環境,為人們檢索和利用信息提供了極大的方便,但同
時,網路環境也為人們及時准確地檢索到所需信息帶來了麻煩。這是因為,第
一,網路環境中信息的來源復雜多樣,隨意性大,任何人、任何單位不管其背
景和動機如何都可以在網路上發布信息,信息的產生和傳播沒有經過篩選和審
定,因此信息的可靠性、質量和價值成為用戶普遍擔心的一大問題;第二,目
前大多數據搜索工具的檢索范圍是綜合性的,它們的Robots盡可能地把各種
網頁抓回來,經過簡單加工後存放在資料庫中備檢;第三,搜索引擎直接提供
給用戶的檢索途徑大都是基於關鍵詞的布爾邏輯匹配,返回給用戶的就是所有
包括關鍵詞的文獻,這樣的檢索結果在數量上遠遠超出了用戶的吸收和使用能
力,讓人感到束手無策。這就是人們經常談論的「信息過載」、「信息超載」現
象。信息過濾技術就是在這樣的背景下開始受到人們的重視,它的目的就是讓
搜索引擎具有更多的「智力」,讓搜索引擎能夠更加深入、更加細致地參與到
用戶的整個檢索過程中,從關鍵詞的選擇、檢索范圍的確定到檢索結果的精煉,
幫助用戶在浩如煙海的信息中找到和需求真正相關的資料。
2.4.1信息過濾模型
信息過濾其實質仍是一種信息檢索技術,因此它仍依託於某一信息檢索模
型,不同的檢索模型有不同的過濾方法。51。
(1)利用布爾邏輯模型進行過濾。布爾模型是一種簡單的檢索模型。在檢索
中,它以文獻中是否包含關鍵詞來作為取捨標准,因此,它不需要對網頁數據
進行深度的加工。最簡單的關鍵詞表可以設計成只有三個欄位:關鍵詞、包括
關鍵詞的文獻號、關鍵詞在相應文獻中出現的次數。檢索時,用戶提交關鍵詞
……………………………………
太長 發不全 希望對你有用 實在不行聯系我(給我留言)我發給你郵箱。