1. 信息檢索的定義
信息檢索有廣義和狹義的之分。廣義的信息檢索全稱為「信息存儲與檢索」,是指將信息按一定的方式組織和存儲起來,並根據用戶的需要找出有關信息的過程。狹義的信息檢索為「信息存儲與檢索」的後半部分,通常稱為「信息查找」或「信息搜索」,是指從信息集合中找出用戶所需要的有關信息的過程。狹義的信息檢索包括3個方面的含義:了解用戶的信息需求、信息檢索的技術或方法、滿足信息用戶的需求。
由信息檢索原理可知,信息的存儲是實現信息檢索的基礎。這里要存儲的信息不僅包括原始文檔數據,還包括圖片、視頻和音頻等,首先要將這些原始信息進行計算機語言的轉換,並將其存儲在資料庫中,否則無法進行機器識別。待用戶根據意圖輸入查詢請求後,檢索系統根據用戶的查詢請求在資料庫中搜索與查詢相關的信息,通過一定的匹配機制計算出信息的相似度大小,並按從大到小的順序將信息轉換輸出。
2. 急急急~網路信息檢索方法與應用 論文
我給你找了一篇,摘要如下:
隨著Internet在全世界范圍內迅猛發展,網上龐大的數字化信息和人們獲取信息之間的矛盾日益突出。因此,對網路信息的檢索技術及其發展趨勢進行探討和研究,是一個既迫切而又實用的課題。本文通過對網路信息檢索的基本原理、網路信息檢索的技術及工具、網路信息檢索的現狀等方面進行分析研究,並對網路信息檢索的發展趨勢進行了預測,旨在尋找提高網路信息檢索的手段和方法的有效途徑,並最終提高網路信息的檢索效果,使得網路信息資源得到充分有效地利用。
全文主要包括六個部分,
第一部分為網路信息檢索述評,主要是闡述了網路信息檢索所涉及到的有關概念,如信息檢索技術、網路信息檢索的特點及網路信息檢索效果評價。
第二部分重點討論了網路信息檢索的基本技術。如信息推拉技術、數據挖掘技術、信息過濾技術、自然語言處理技術等等,旨在弄清網路信息檢索的技術支撐,為預測網路信息檢索的發展趨勢作下鋪墊。
第三部分對網路信息檢索的重要工具——搜索引擎進行了闡述,主要從其檢索機制入手,分析了不同種類的搜索引擎的檢索特點及功能。其獨到之處在於對搜索引擎的基本功能進行了比較全面的概括,並對目前流行的搜索引擎進行科學的分類...
第四部分分析討論了檢索技術的另一分支—基於內容的檢索技術
第五部分則分析了網路信息搜索工具的局限,主要從文本信息檢索和多媒體信息檢索兩方面進行闡述。
好不容易給轉成 .txt文本,貼在下面:
1.1網路信息資源
網路信息資源是指「通過國際Intemet可以利用的各種信息資源」的總稱。
隨著Intemet的迅速發展,網上信息資源也以指數形式增加,網路信息資源作
為一種新型的信息資源,發揮著越來越重要的作用,其內容幾乎無所不包,涉
及政治、經濟、文化、科學、娛樂等各個方面;其媒體形式多種多樣,包括文
本、圖形、圖像、聲音、視頻等;其范圍覆蓋社會科學、自然科學、人文科學
和工程技術等各個領域。
1.2信息檢索技術
信息檢索技術是現代信息社會中非常關鍵的技術之一。信息檢索是指將信
息按一定的方式組織和存儲起來,並根據信息用戶的信息需求查找所需信息的
過程和技術,所以信息檢索的全稱又叫「信息存儲與檢索」。狹義的信息檢索
僅指從信息集合中找出所需信息的過程,也就是利用信息系統檢索工具查找所
需信息的過程。人們獲取信息源的方式主要有:①遵循傳統的檢索方法在浩如
煙海的圖書館資料中,通過人工查找索引找到對應的文獻索引號再獲取文獻原
文;②聯機信息檢索。這其中也存在一個發展過程,由檢索結果來看,從提供
目錄、文摘等相關的二次信息檢索到可以直接獲得電子版的全文;由檢索方法
來看,從對特定關鍵詞或者如作者、機構等輔助信息作為檢索入口的常規檢索
到以原始文獻中任意詞檢索的全文檢索等等。其中,全文檢索由於其包含信息
的原始性、信息檢索的徹底性、所用檢索語言的自然性等特點在近年來發展比
較迅速,成為深受人們關注的一種非常有效的信息檢索技術,它是從大容量文
檔庫中精確定位所需信息的最有效手段l3]。
.3.2web信息檢索
其檢索方式有:瀏覽器方式和搜索引擎方式。
(l)瀏覽器方式(Br,singsystelns)。只要能夠進入hitemct就能夠通過瀏
覽器,利用HTTP協議提供的WV乃萬服務,瀏覽認觸b頁面和通過W匕b頁面提
供的檢索方式訪問資料庫。
(2)搜索引擎方式(SearehEngines)。搜索引擎是intemet提供公共信息檢
索服務的W七b站點,它是以一定的技術和策略在intemet中搜集和發現網路信
息,並對網路信息進行理解、提取和處理,建立資料庫,同時以認倪b形式提
供一個檢索界面,供用戶輸入檢索關鍵詞、片語或短語等檢索項,代替用戶在
資料庫中查找出與提問相匹配的記錄,同時返回結果且按相關度排序輸出,從
而起到快速查找信息的目的。搜索引擎所處理的信息資源主要包括萬維網服務
器上的信息,另外還包括電子郵件和新聞組信息。搜索引擎服務的宗旨是為滿
足用戶的信息需要,所以它是面向用戶的,採用的方式是互動式的。
網路信息檢索工具採用主動提交或自動搜索兩種方法搜索數據。
1.4網路信息檢索效果評價
目前,得到普遍認同的檢索效果的評價標准主要有以下幾個:查全率、查
准率、收錄范圍、輸出格式,其中以查全率和查准率最為重要。
現代信息科學技術的發展,為人們提供了多種多樣的信息獲取和傳送方法
及技術,從「信源」與「用戶」的關系來看,可分為兩種模式:「信息推送」
模式(InformationPush),由「信源」主動將信息推送給「用戶」,如電台廣播;
「信息拉取」模式(InformationPull),由「用戶」主動從「信源」中拉取信息,
如查詢資料庫。
2.2.1信息推送技術
「推」模式網路信息服務,是基於網路環境下的一種新的服務形式,即信
息服務者在網上利用「Push」技術為特定用戶開展信息服務的方式。Push技術
之所以成為Intemet上一項新興的技術,是因為藉助該技術使網路信息服務具
有主動性,不僅可以直接把用戶感興趣的信息推送給用戶,而且可有效地利用
網路資源,提高網路吞吐率;再者,Push技術還允許用戶與提供信息的伺服器
之間透明地進行通信,極大地方便了用戶。
所謂Push技術,又稱「推送」技術、Web廣播(Webeasting)技術,實質
上是一種軟體,這種軟體可以根據用戶定義的准則,自動搜集用戶最可能發生
興趣的信息,然後在適當的時候,將其傳遞至用戶指定的「地點」。因而從技
術上看,「推」模式網路信息服務就是具有一定智能性的、可以自動提供信息
服務的一組計算機軟體,該軟體不僅能夠了解、發現用戶的興趣(可能關心的
某些主題的信息),還能夠主動從網上搜尋信息,並經過篩選、分類、排序,
然後按照每個用戶的特定要求,主動推送給用戶141。
(l)信息推送方式。信息推送方式分兩類,即網播方式和智能方式。
網播方式有:頻道式推送。頻道式網播技術是目前普遍採用的一種模式,
它將某些頁面定義為瀏覽器中的頻道,用戶可像選擇電視頻道那樣接受有興趣
的網播信息;郵件式推送,用電子郵件方式主動將所推送信息發布給各用戶,
如國際會議的通知、產品的廣告等:網頁式推送。在一個特定網頁內將所推送
信息發布給各用戶,如某企業、某組織、某個人的網頁;專用式推送。採用專
門的信息發送和接收軟體,信源將信息推送給專門用戶,如機密的點對點通信。
智能推送方式有:操作式推送(客戶推送式),由客戶數據操作啟動信息
推送。當某客戶對數據進行操作時,把修改後的新數據存入資料庫後,即啟動
信息推送過程,將新數據推送給其他客戶;觸發式推送(伺服器推送式),由
ll碩士學位論文
MASTER,5THESIS⑧
資料庫中的觸發器啟動信息推送過程,將新數據推送給其他客戶,當數據發生
變化,如出現增加(Insert)、刪除(Delete)、修改(update)操作時,觸發器
啟動信息推送過程。
(2)信息推送的特徵。信息推送的特徵有:主動性、針對性、智能性、高效
性·靈活性和綜合性I5]。
主動性。Push技術的核心就是服務方不需要客戶方的及時請求而主動地將
數據傳送到客戶方。因而,主動性是「推」模式網路信息服務最基本特徵之一。
這也是它與基於瀏覽器的「拉」(Pull)模式的被動服務的鮮明對比。
針對性(個性化)。針對性是說,Push技術可以針對用戶的特定信息需求
進行檢索、加工和推送,並根據用戶的特定信息需求為其提供個人定製的檢索
界面。
智能性。Push伺服器能夠根據用戶的要求自動搜集用戶感興趣的信息並定
期推送給用戶。甚至,Push技術中的「客戶代理(ClientAgent)」可以定期自
動對預定站點進行搜索,收集更新信息送回用戶。同時個人信息服務代理和主
題搜索代理還可為了提高「推送」的准確性,控制搜索的深度,過濾掉不必要
的信息,將認飛b站點的資源列表及其更新狀態配以客戶代理完成。因而,網
絡環境下的「推」模式信息服務具有較高的智能性。這也是傳統的定題服務
(SDI)不能比的。
高效性。高效性是網路環境下「推」模式信息服務的又一個重要特徵。Push
技術的應用可在網路空閑時啟動,有效地利用網路帶寬,比較適合傳送大數據
量的多媒體信息。
靈活性。靈活性是指用戶可以完全根據自己的方便和需要,靈活地設置連
接時間,通過E一mail、對話框、音頻、視頻等方式獲取網上特定信息資源。
綜合性。「推」模式網路信息服務的實現,不僅需要信息技術設備,而且
還依賴於搜尋軟體、分類標引軟體等多種技術的綜合[6]。
但在當前信息技術的發展階段,「推」技術還存在很大的缺陷,比如:不
能確保信息發送,沒有狀態跟蹤,缺乏群組管理功能等等。因此,國內外的研
究者們又提出超級推(BeyondPush)技術的理論。所謂超級推技術是在保留、繼
承、完善了Push的優點(主動傳遞和個性化定製),摒棄了Push的諸多缺點之
!2碩士學位論文
MASTER,5THESIS管
後而發展起來的一種新型的Push技術。它的最大特點是在於保證傳送。即所
有的信息都是在特定的時間送給特定的信息用戶,同時保持連續性的用戶資
料,隨時可以知道誰收到了信息,信息是否為該用戶定製,用戶環境是否適當
等等[刀。
2.2.2信息拉取技術
常用的、典型的信息拉取技術,如資料庫查詢,是由用戶主動查詢資料庫,
從資料庫中拉取所需信息。其主要優點是:針對性好,用戶可針對自己的需求
有目的地去查詢、搜索所需的信息。
Intemet上的信息拉取技術可以說是資料庫查詢技術的擴展和延伸。在網
絡上,用戶面對的不止是一個資料庫,而是擁有海量信息的hitemet環境,因
此,各種網路信息拉取(查詢)的輔助工具—搜索引擎應運而生了。信息推送與信息拉取兩種模式各有其特點,在實際中常常是將兩者的結合
起來,常用的結合方式為:
(1)「先推後拉」式。先及時地推送最新信息(更新的動態信息),再有針
對性地拉取所需的信息。這樣,便於用戶注意信息變化的新情況和趨勢,從而
動態地選取需要深入了解的信息。
(2)「先拉後推」式。用戶先拉取所需信息,然後根據用戶的興趣,再有針
對性地推送相關的其它信息。
(3)「推中有拉」式。在信息推送過程中,允許用戶隨時中斷、定格在所感
興趣的網頁上,作進一步的搜索,主動拉取更豐富的信息。
(4)「拉中有推」式。在用戶拉取信息的搜索過程中,根據用戶輸入的關鍵
詞,信源主動推送相關信息和最新信息。這樣既可以及時地、有針對性時為用
戶服務,又可以減輕網路的負擔,並便於擴大用戶范圍[8]。
因此,信息推送與信息拉取相結合是當前Intemet、資料庫系統及其它信
息系統為用戶提供主動信息服務的一個發展方向。
2.3Web挖掘技術
隨著功temet的發展,W己b已經成為人類社會的公共信息源。在hitemet
給人類帶來前所未有的信息機遇的同時,又使得人類的信息環境更加復雜,人碩士學位論文
MASTER,5THESIS⑧
類如何利用信息的問題非但沒有如預想的通過信息技術的發展得到圓滿的解
決,相反,隨著信息技術的發展,信息量的激增,造成了個人實際所需信息量
與研觸b上的海量信息之間的矛盾,因而也就造成了個人利用信息的困難。在
這種情況下,雖然出現了叭范b環境下的專門檢索工具,但是由於搜索引擎是
由傳統檢索技術發展而來,在當前用戶要求不斷提高的情況下,傳統的搜索技
術己經不能夠滿足人們的需要。為了更加有效地利用網路信息資源,W七b挖掘
作為新的知識挖掘的手段,為Web信息的利用提出了新的解決方案叨。
2.3,1姍eb挖掘的內容
數據挖掘就是從大量的、不完全的、有雜訊的、模糊的、隨機的數據中,
提取隱含在其中的、人們事先不知道的、但又是潛在有用的信息和知識的過程。
Web挖掘則是從WWW及其相關的資源和行為中抽取有用的模式和隱含信息。其
中WWW及其相關資源是指存在於WWW之上的Web文檔及Web伺服器上的日誌文
件以及用戶資料,從Web挖掘的概念中應當看出Web挖掘在本質上是一種知識
發現的手段,它主要從下面3個方面進行仁』時。
(1)Web內容挖掘。W七b內容挖掘是從W匕b數據中抽取知識,以實現Web
資源的自動檢索,提高web數據的利用效率。隨著Intemet的進一步延伸,Web
數據越來越龐大,種類越來越繁多,數據的形式既有文本數據信息,也有圖像、
聲音、視頻等多媒體數據信息,既有來自於資料庫的結構化數據,也有用HTML
標記的半結構化數據及非結構化的自由文本數據信息。因而,對W己b內容信
息挖掘主要從下面兩個角度進行〔」]。
一是從信息檢索的角度,主要研究如何處理文本格式和超級鏈接文檔,這
些數據是非結構化或半結構化的。處理非結構化數據時,一般採用詞集方法,
用一組組詞條來表示非結構化的文本,先用信息評價技術對文本進行預處理,
然後採取相應的模型進行表示。另外,還可以用最大字序列長度、劃分段落、
概念分類、機器學習和自然語言統計等方法來表示文本。處理半結構化數據時,
可以利用一些相關演算法給超級鏈接分類,尋求認七b頁面關系,抽取規則。同
處理非結構化數據相比,由於半結構化數據增加了HTM毛標記信息及Web文
檔內部超鏈結構,使得表示半結構化數據的方法更加豐富。
二是從資料庫的角度,主要處理結構化的W匕b資料庫,也就是超級鏈接
14⑧蕊譽蕊
文檔,數據多採用帶權圖或者對象嵌入模型(OME),或者關系資料庫表示,
應用一定的演算法,尋找出網站頁面之間的內在聯系,其主要目的是推導出Web
站點結構或者把W匕b變成一個資料庫,以便進行更好的信息管理和查詢。數
據庫管理一般分成三個方面:一是模型化,研究認觸b上的高級查詢語言,使
其不局限於關鍵字查詢;二是信息的集成與抽取,把每個W七b站點及其包裝
程序看成是一個認范b數據源,通過W七b數據倉庫(data~house)或虛擬W七b資料庫實現多種數據來源的集成;三是叭幾b站點的創建與重構,通過研
究web上的查詢語言來實現建立並維護web站點的途徑[』「]。
(2)札b結構挖掘。W匕b結構挖掘,主要指的是通過對W七b文檔的分析,從
文檔之間的組織結構獲取有用的模式。W匕b內容挖掘研究的是文檔內的關系,
W七b結構挖掘關注的則是網站中的超級鏈接結構之間的關系,找到隱藏在一個
個頁面之後的鏈接結構模型,可以用這個模型對W七b頁面重新分類,也可以
用於尋找相似的網站。
W七b結構挖掘處理的數據類型為W七b結構化的數據。結構化數據是描述
網頁內容組織方式的數據,頁內結構可以用超文本標記語言等表示成樹型結
構,此外頁間結構還可以用連接不同網頁的超鏈結構表示。文檔間的鏈接反映
了文檔信息間的某種聯系,如隸屬平行關系、引用與被引用關系等。對W七b
頁面的超級鏈接進行分類,可以判斷與識別頁面信息間的屬性關系。由於Web
頁面內部存在或多或少的結構信息,通過研究W亡b頁面內部結構,可尋找出
與用戶選定的頁面集合信息相關的其它頁面信息模式,以檢測W己b站點所展
示的信息完整程度。
③Web行為挖掘。所謂W己b用戶行為挖掘主要是通過對認尼b伺服器的日
志文件以及用戶信息的分析,從而獲得有關用戶的有用模式。W七b行為挖掘的
數據信息主要指網路日誌中包括的用戶行為模式,它包括檢索時間、檢索詞、
檢索路徑、檢索結果以及對哪些檢索結果進行了瀏覽。由於W七b自身的異質、
分布、動態、無統一結構等特點,使得在認七b網上進行內容挖掘比較困難,
它需要在人工智慧和自然語言理解等方面有所突破。所幸的是基於W七b服務
器的109日誌存在著完整的結構,當信息用戶訪問web站點時,與訪問相關的
頁面、時間、用戶ro等信息,日誌中都作了相應的記錄,因而對其進行信息
l5碩士學位論文
MASTER,5THESIS⑥
挖掘是可行的,也是有意義的。在技術實踐過程中,一般先把日誌中的數據映
射成諸種關系信息,並對其進行預處理,包括清除與挖掘不相關的信息等。為
了提高性能,目前對109日誌數據信息挖掘採用的方法有路徑分析、關聯規則、
模式發現、聚類分析等。為了提高精確度,行為挖掘也應用到站點結構信息和
頁面內容信息等方面。
2.3.2web挖掘技術在網路信息檢索中的應用
(l)Web內容挖掘在檢索中的應用。W匕b內容挖掘是指從文檔內容及其描述
中獲取知識的過程,由於用傳統的信息檢索技術對W己b文檔的處理不夠深入,
因此,可以利用叭觸b內容挖掘技術來對網路信息檢索中的W己b文檔處理部分
進行進一步的完善,具體而言表現在以下幾個方面。
①文本總結技術。文本總結技術是指從文檔中抽取出關鍵信息,然後以簡
潔的形式對W匕b文檔的信息進行摘要或表示。這樣用戶通過瀏覽這些關鍵信
息,就可以對W七b網頁的信息有大致的了解,決定其相關性並對其進行取捨。
②文本分類技術。W匕b內容挖掘中的文本分類指的是按照預先定義的主題
類別,利用計算機自動為文檔集合中的每一個文檔進行分類。分類在網路信息
檢索中的價值在於可以縮小檢索范圍,大大提高查准率。目前,己經出現了很
多文本分類技術,如TFIFF演算法等,由於文本挖掘與搜索引擎所處理的文本幾
乎完全一樣,所以可以直接將文本分類技術應用於搜索引擎的自動分類之中,
通過對大量頁面自動、快速、有效的分類,來提高文檔檢索的查准率。
③文本聚類技術。文本聚類與文本分類的過程J險洽相反,文本聚類指的是
將文檔集合中的文檔分為更小的簇,要求同一簇內的文檔之間的相似性盡可能
大,而簇與簇之間的關系盡可能小,這些簇相當於分類表中的類目。文本聚類
技術不需要預先定義好的主題類別,從而使得搜索引擎的類目能夠與所收集的
信息相適應。文本聚類技術與人工分類相比,它的分類更加迅速、客觀。同時,
文本聚類可與文本分類技術相結合,使得信息處理更加方便。可以對檢索結果
進行分類,並將相似的結果集中在一起。
(2)Web結構挖掘在網路信息檢索中的應用。W匕b的信息組織方式採用了一
種非平面結構,一般來說W己b的信息組織方式是根據內容來進行組織的。但
是由於W匕b的這些結構信息比較難以處理,所以搜索引擎一般不處理這些信
16碩士學位論文
MASTER,S竹正515⑧
息,而是將叭觸b頁面作為平面機構的文本進行處理。但是,在從觸b結構挖掘
中,通過對研觸b文檔組織結構的挖掘,搜索引擎可以進一步擴展搜索引擎的
檢索能力,改善檢索效果〔』3]。
(3)脆b行為挖掘在網路信息檢索中的應用。認觸b行為挖掘是一種通過挖掘
總結出用戶的檢索行為的模式。用戶的檢索行為一直是信息檢索中重要的研究
內容,通過研觸b行為挖掘,不僅可以發現多數用戶潛在共同的行為模式,而
且還可以發現單個用戶的個性化行為,對這些模式進行研究,可以更好地對搜
索引擎的檢索效果進行反饋,以便進一步改進搜索策略,提高檢索效果。
2.3.3web挖掘技術的局限及方向
(1)孔b內容挖掘。W七b上的數據不管是用HTML還是XML標記語言表示,
都不能完全解決W七b數據的非結構性問題,特別是漢語句子格式繁多,虛詞、
實詞沒有絕對的界限,切分詞難度大,這些是造成無法對數據進行完全自動標
引的根本性問題,因此,從七b內容挖掘技術有必要結合數據倉庫等信息技術進
行信息存儲,並最終實現智能化、自動化的數據表示和標引,以供搜索之用。
通常數據的表示和數據的利用形式是相互關聯的,因此,設計相應的具有高查
全率和查准率的挖掘演算法也和數據表示一樣是未來的方向之一。另外多媒體數
據如何進行識別分類標引,這也是未來的研幾b內容挖掘研究的難點和方向。
(2)梅b結構數據挖掘。隨著Intemet的迅猛發展,網站的內容也越來越豐
富,結構也越來越龐雜,用有向圖表示巨型網站鏈接結構將不能滿足數據處理
的需要,需要設計新的數據結構來表示網站結構。
由於用來作對比分析發現問題所在的用戶使用信息只有日誌流,那麼,對
用戶使用日誌流中每一鏈接關系如何識別、採用什麼結構表示、如何抽取有用
的模式等等,不僅是認飛b行為挖掘的重要研究內容也是網站結構挖掘的重要
研究方向之一。
(3),eb用戶行為挖掘。由於Iniemet傳輸協議HTTP的無狀態性,客戶端、
代理伺服器端緩存的存在,使用戶訪問日誌分別存在於伺服器、代理伺服器和
客戶端,因此,從W七b用戶訪問日誌中研究用戶訪問規律最大的難點在於如
何把分布於不同位置的訪問日誌經過預處理,形成一個個用戶一次的訪問期
間。通常來講,對於靜態W七b網站,伺服器端的日誌容易取得,客戶端和代
l7理伺服器用戶訪問日誌不容易取得;其次,由於一個完整的W匕b是由一個個
圖片和框架頁面組成的,而用戶訪問伺服器也有並發性,在確定用戶訪問內容
時,必須從伺服器日誌中甄選出某個用戶實際請求的頁面和頁面的主要內容。
另外,由於目前已經有的數據挖掘演算法主要是在大量交易數據基礎上發展起來
的,在處理海量Web用戶訪問日誌中也需要重新設計演算法結構〔』41。
2.4信息過濾技術
hitemet開放式的環境,為人們檢索和利用信息提供了極大的方便,但同
時,網路環境也為人們及時准確地檢索到所需信息帶來了麻煩。這是因為,第
一,網路環境中信息的來源復雜多樣,隨意性大,任何人、任何單位不管其背
景和動機如何都可以在網路上發布信息,信息的產生和傳播沒有經過篩選和審
定,因此信息的可靠性、質量和價值成為用戶普遍擔心的一大問題;第二,目
前大多數據搜索工具的檢索范圍是綜合性的,它們的Robots盡可能地把各種
網頁抓回來,經過簡單加工後存放在資料庫中備檢;第三,搜索引擎直接提供
給用戶的檢索途徑大都是基於關鍵詞的布爾邏輯匹配,返回給用戶的就是所有
包括關鍵詞的文獻,這樣的檢索結果在數量上遠遠超出了用戶的吸收和使用能
力,讓人感到束手無策。這就是人們經常談論的「信息過載」、「信息超載」現
象。信息過濾技術就是在這樣的背景下開始受到人們的重視,它的目的就是讓
搜索引擎具有更多的「智力」,讓搜索引擎能夠更加深入、更加細致地參與到
用戶的整個檢索過程中,從關鍵詞的選擇、檢索范圍的確定到檢索結果的精煉,
幫助用戶在浩如煙海的信息中找到和需求真正相關的資料。
2.4.1信息過濾模型
信息過濾其實質仍是一種信息檢索技術,因此它仍依託於某一信息檢索模
型,不同的檢索模型有不同的過濾方法。51。
(1)利用布爾邏輯模型進行過濾。布爾模型是一種簡單的檢索模型。在檢索
中,它以文獻中是否包含關鍵詞來作為取捨標准,因此,它不需要對網頁數據
進行深度的加工。最簡單的關鍵詞表可以設計成只有三個欄位:關鍵詞、包括
關鍵詞的文獻號、關鍵詞在相應文獻中出現的次數。檢索時,用戶提交關鍵詞
……………………………………
太長 發不全 希望對你有用 實在不行聯系我(給我留言)我發給你郵箱。
3. 信息檢索的基本原理
信息檢索有廣義和狹義的之分。廣義的信息檢索全稱為「信息存儲與檢索」,是指將信息按一定的方式組織和存儲起來,並根據用戶的需要找出有關信息的過程。
狹義的信息檢索為「信息存儲與檢索」的後半部分,通常稱為「信息查找」或「信息搜索」,是指從信息集合中找出用戶所需要的有關信息的過程。狹義的信息檢索包括3個方面的含義:了解用戶的信息需求、信息檢索的技術或方法、滿足信息用戶的需求。
(3)信息存儲與檢索的典型事例擴展閱讀:
信息檢索四要素:
1 信息檢索的前提----信息意識:所謂信息意識,是人們利用信息系統獲取所需信息的內在動因,具體表現為對信息的敏感性、選擇能力和消化吸收能力,從而判斷該信息是否能為自己或某一團體所利用,是否能解決現實生活實踐中某一特定問題等一系列的思維過程。
2.信息檢索的基礎----信息源:信息源定義:在聯合國教科文組織出版的《文獻術語中》,將信息源定義為:個人為滿足其信息需要而獲得信息的來源,稱為信息源。
3、信息檢索的核心----信息獲取能力:通過熟練使用檢索工具來了解各種信息來源的效果。
4.信息檢索的關鍵----信息利用:獲取學術信息的最終目的是通過對所得信息的整理、分析、歸納和總結,根據自己學習、研究過程中的思考和思路,將各種信息進行重組,船造出新的知識和信息,從而達到信息激活和增值的目的。
參考資料來源:網路-信息檢索
4. 信息檢索中主體法和分類法是如何進行信息存儲和檢索(原理和過程)
主題法和分類法在信息檢索中的原理基本相同.即信息儲存和信息檢索兩個過程.信息儲存是對文獻進行收集、標引及著錄,並加以有序化編排,編制信息檢索的工具的過程;信息檢索是從大量的信息中查找出用戶所需的特定信息的過程.而實施檢索的主要方法就是利用各種檢索工具.
但是也有細微的差別.
1、在主題概念表達上
分類語言的一個顯著特點是用碼號(如字母或數字)作為文獻的標識,標引或檢索時都必須使用分類號.主題語言則是直接以自然語言中的話詞作為標引和檢索的標識.
2.在主題概念的組織上
主題法與分類法都要將主題概念組織成可迅速查找的檢索工具或檢索系統.分類語言主要是按學科體系或邏輯體系組織的,由於分類體系不是顯而易見、易於掌握的,因此讀者在使用分類檢索工具或檢索系統時,往往難以確定新主題、細小主題以及復雜主題在體系中的准確位置.主題語言按照語調的字順來組織主題概念,因而可以直呼其名,依名檢索.
3.在主題內在關系的顯示上
分類語言中主題內在關系主要通過上下位類、同位類以及交替類目、參見類目和類目注釋來顯示.尤其在體系分類表中,類目之間的等級關系可以通過類目排列的位置、乃至印刷字體的不同而直接明顯地展示由來.因而分類法系統的系統性、等級性強,便於進行瀏覽性檢索,並可以根據檢索的需要進行擴檢和縮檢.主題語言中,主題內在關系主要通過建立詞間參照系統的方式來顯示.此外也通過輔助索引進行分類顯示.所以,在主題詞表中,相關主題之間的關系難以直接地、一目瞭然地展示出來,因而在族性檢索、尤其是較大范圍課題的檢索中,不如分類語言.
4、在標引方法上
使用分類語言標引時,主題分析的重點是辨別確定文獻主題的學科性質,以便進一步確定所屬類目.使用主題語言標引時,主題分析的重點是辯明文獻主題各構成因素之間的關系,區別論述對象的中心部分和次要部分,以便選定中心主題概念.分類法表現的是族性,主題法表現的是特性.
信息檢索的整個過程如圖.
5. 現代信息檢索服務系統有哪些類型各自的特點是什麼舉例說明
現代信息檢索服務系統指計算機信息檢索系統,主要包括,聯機檢索系統、光碟檢索系統和網路信息檢索系統。
(一)光碟資料庫檢索
光碟資料庫檢索是由微機、光碟資料庫、檢索軟體等組成,目前國內普遍採用的是網路檢索系統,它是由光碟伺服器、計算機區域網、光碟庫/磁碟陣列、檢索軟體等組成,其特點是設備簡單、費用低、檢索技術易掌握,但檢索范圍受到光碟資料庫的限制。更新不夠及時;相對於手工檢索而言,它的檢索速度快,檢索靈活方便,檢索入口多。
(二)聯機檢索
聯機檢索系統是由聯機服務的中心計算機,檢索終端。通訊網路、聯機資料庫、檢索軟體等構成,檢索終端通過信息路線與信息系統的主機連接,在中央處理機的控制之下查詢系統的若干個資料庫,並能夠與系統實時對話,隨時調整檢索策略。其特點是檢索范圍廣泛、檢索速度快,檢索功能完善,及時性好,可以聯機訂購原文,它擁有的資料庫量大,更新及時,但檢索技術復雜,設備要求高,費用昂貴。
(三)網路信息檢索
網路信息檢索系統是由計算機伺服器,用戶終端、通訊網路、網路資料庫等組成,其特點是檢索方法簡單、檢索靈活方便、及時性好,檢索費用和速度低於聯機檢索系統。通過網路介面軟體,用戶可以在任何一個終端查詢各地網路上的信息資源。網路檢索實際上是更加廣泛的聯機信息檢索系統。
1.DIALOG系統概述
美國Dialog系統是目前世界上規模最大、影響最廣泛的綜合性商業聯機檢索系統,也是我國科技界廣泛使用的系統。其中心設在美國加利福尼亞州的PALOALTO市。
Dialog聯機檢索用戶遍布世界100多個國家。D1ALoG現有全文、題錄、事實及數據型資料庫數百個,都是質量很高、很權威的核心資料庫,其中包括著名的工程索引(Ei)、科學引文索引(SCI)、英國科學文摘(1NSPEC)、世界專利索引(WPI)等,其數量平均每年約增長20%一28%。文獻量已近數億篇,內容涉及自然科學、社會科學、工程技術、人文科學、時事報道及商業經濟等各個領域。
DIAIOG提供的服務項目有各種類型信息檢索、定題股務、原文訂購(E—mail,FAX或郵寄傳遞)等。它的檢索功能強大,深度和廣度要求高的檢索均可做到,資料庫更新及時,資料庫中收錄的文獻年限長。利用Dialog系統,可進行項目交新、文獻調研、課題立項、申報專利、了解市場動態和競爭對手、新產品開發、公司的背景憾況、經濟預測等信息。
(1)聯機准備。對於用戶而言,要想使用Dialog聯機檢索系統,首先要具備相應的軟、硬體設備;其次,要向Dialog系統申請聯號,交納一定的開戶費用,每年要文年費和資料庫使用費。
與DIALOG聯機所需要的軟、硬體設備包括終端、通信軟體和數據機。通信軟體安裝在用戶終端,用於實現用戶和主機間的通信,Dialog LINK是dialog系統專門為用戶設計的通信軟體。該軟體功能豐富,集成化程度高,具有自動登錄或按號功能及在聯機前建立並存儲檢索式,存儲、顯示和列印檢索結果,顯示圖形,標記、存儲記錄,追蹤記憶等功能。該軟體是動態更新的。
在申請成為Dialog用戶後,系統將為用戶提供兩個號碼:
1)用戶號。用戶號(User Name)是D1ALog用戶的賬號,也是用戶的標記。系統將對此用戶使用系統的情況進行跟蹤、記殿、郵寄賬單和資料庫更新資料。當用戶與DIALOG系統進行各種聯系時,均須提供賬號。
2)用戶口令。用戶口令(Password)是用戶進入D1ALog系統的鑰匙,當用戶進行聯機登錄時,用戶名和口令必須結合起來使用。
(2)聯機方式。在用戶具備了上述條件並安裝好各種硬體及軟體後,就可以實現與Dialog檢索系統聯機。Dialog系統向用戶提供多種服務方式、檢索界面及各種資料庫。DIALOG的聯機方式有兩種:
1)通過CHINAPAC(專線)與D1ALOG聯機。具體過程為:①輸入主機所屬的分組交換網址;②輸入系統標識符;②輸入用戶號;④輸入用戶密碼。
2)通過CHINANET或Internet與Dialog聯機。如果用戶的計算機已經與Internet聯網,則可使用遠程登錄命令Telnet diaLoG.com或通信軟體Dialog LINK,就可以登錄到DIALOG聯機系統,以文本界面方式檢索Dialog資料庫,也可以使用ie瀏覽器以Web的方式檢索Dialog資料庫。與專線方法相比,這種聯機方法更加直接、方便。DIALOG系統的Internet Web界面的檢索方法有以下幾種:
a.利用Web直接上網檢索,其web網址為http://www.DialogWeb.com。這種方式檢索贊用較低,缺點是如果用戶需要將所有檢索過程存檔,就要一屏一屏地存檔,否則隨著檢索指令的變化,不及時存檔,數據容易丟失。
b.特別為專業人員推出的web界面。其網址為http://www.dialogclassic.com。這是最新推出的界面,速度快,檢索過程每一屏幕均保留,不丟失效據,便於存檔,界面是專業人員熟悉的界面,能很快地從舊檢索方式轉入適應新的web界面。
c.非專業檢索人員web界面。其網址為http://www.dialogselect.com。dialog select作為在Internet上的傻瓜界面主要針對最終用戶,而非專業人員。對於初學者、最終信息用戶和不願學習Dialog檢索指令的人可使用其傻瓜界面。 『
d.資料庫藍頁網址:http://library.Dialog.com/bluesheets。用戶可以按資料庫名稱、文檔號、主題瀏覽藍頁。資料庫藍頁提供每一種資料庫的收錄范圍,可供檢索的欄位、列印格式、記錄樣式及收費狀況等。
(3)Dialog系統的檢索特點。
1)Dialog系統具有兩種檢索方式:菜單式和命令式。菜單式指Dialogweb (guided search)及DialogSelect的檢索方式,其檢索界面為圖形界面,明確直觀。該界面無須了解Dialog檢索指令,適合於非專業檢索人員和初學者使用,用戶可以按照系統提示一步一步進行檢索;命令式指遠程登錄(Telnet)、DialogClassic及DialogWeb(command search)的檢索方式,檢索時需輸入各種指令,檢索快速、准確,適合於專業人員使用。
2)DIALOG系統有兩種索引:基本索引和輔助索引。從上述可知,聯機檢索是通過倒排檔進行的,Dialog系統的田搽檔就是基本索引和輔助索引。
基本索引欄位主要有標題、規范詞、自由詞、文摘等(各個資料庫的基本檢索欄位不完全相同,用戶需要查問相關資料庫的主頁才能確定)。絕大多數資料庫都包含TA、DE、ID、AB(標題、敘詞、自由詞、文摘)4個基本索引欄位。基本索引欄位採用後級代碼進行檢索。如SMOTOROLA/CO將檢索欄位限於公司名稱欄位;SANTHRAX/TI將檢索詞限於標題欄位。
Dialog系統資料庫將作者、單位名稱、期刊名稱、文獻類型、語種、出版年份等作為輔助索引欄位,採用前綴代碼檢索。如SAU=JOHNSON,S?;S PY=1998等。適當使用這些檢索途徑,用戶可以迅速、准確地找到自己所需要的信息。
3)DIALOG系統的多資料庫訪問和查重功能。DIAOG可用一次性檢索方法對多個資料庫進行檢索。用一次性檢索方法不僅可以比較交叉文檔的檢索結果,而且可以限制檢索項、組配檢索項和顯示檢索結果,使多文檔查找猶如在單一文檔中查找一樣靈活,該功能一次最多可以檢索60個資料庫。由於一次性檢索的命中文獻為所選資料庫檢索文獻之和,其中有些文獻為重復文獻,dialog提供了查重功能,以便提高檢索效率和降低檢索賞用。
2. 《工程索引 (Ei Compendex PIus)》資料庫光碟
1)簡介
《工程索引(Ei ComPendex PIus)》資料庫光碟簡稱CoM—PENDEx資料庫,是KR OnDisc for windows光碟系列中的一種光碟,由美國Knight—Ridder信息公司發行。這個資料庫就是印刷本《The Engineering lndex)的光碟版,該光碟收錄了自1970年以來的工程索引信息,內容包括空間技術、應用物理、生物醫學儀器、化學工程、城市建設工程、環境工程、電子工程、能源技術、工程材料、海洋工程、機械工程、采礦和冶金、管理工程等。該光碟有DOS版、Windows版、Macintosh版等幾種,以便適合不同的PC與操作系統。檢索系統與數據一般在同一張光碟上,數據每月更新,檢索系統的安裝十分簡單方便,幾乎不需要更改任何系統參數,如果在DOS環境下檢索,則不在硬碟上安裝檢索系統也可以,直接在光碟驅動器盤符下鍵入ONDISC命令,即可進入檢索系統。該光碟上一般還附帶有與Dialog聯機的遠程終端訪問系統,時間跨度為19洲午主今。l 988年-1991年,各個年份的光碟檢索系統工作在DOS平台上,1992年以後的檢索系統工作在Windows平台上。1999年,Dialog公司推出了提供Web瀏覽方式的光碟資料庫服務軟體Dialog@site,購買並在本地裝有Windows NT系統的伺服器上安裝運行Dialog@site軟體後,即可通過區域網或網際網路訪問該資料庫。它們的檢索步驟和檢索策略基本相同。COMPEND—EX資料庫的特點是檢索途徑多,策略變換靈活,顯示格式多,另外還有多種輔助分析手段,因而是工程技術領域最常用的資料庫光碟。
3. 《中國學術期刊(光碟版)》全文資料庫
1)簡介
《中國學術期刊(光碟版)》全文資料庫,簡稱CAJR資料庫,是中國製作的第一個集成化、多功能型電子學術期刊資料庫。這個資料庫由清華大學主辦,1996年起出版發行。CAJR資料庫的特點是期刊全文入編,圖文混排,顯示、列印輸出格式與印刷版期刊保持一致。對最新內容,資料庫實行按月更新,以保證信息的及時性,對不在資料庫重點收錄范圍的期刊文獻(或稱為過刊文獻),陸續建立過期期刊題錄摘要庫,與現刊文獻合並成同一光碟.可實現題錄摘要的追溯查詢。對重點學科的過期期刊,則可建立過期期刊全文回溯庫,以實現全文追溯查詢。在軟體方面,CAJR資料庫採用傳統和智能化全文檢索相結合的方案,保留了傳統資料庫檢索的優點,增加了檢索入口。
4. 中國知識資源總庫簡介 .
中國知網又稱中國知識基礎設施工程(China National knowledge infrastructure)是以實現全社會知識資源傳播共享與增值利用為目標的國家信息化重點建設項目,於1995年正式立項。它由清華同方光碟股份有限公司、中國學術期刊(光碟版)電子雜志社、光碟國家工程研究中心等單位於1999年6月在《中國學術期刊光碟版)》(caj-cd)和中國期刊網.(CJN)全文資料庫建設的基礎上研製開發的一項規模更大、內容更廣、結構更系統的知識信息化建設項目。
截止2007年底,cnki涵蓋了國內9000多種期刊雜志,1500多種重要會議文獻,420多家博士培養單位論文,650多家碩士培養單位論文,300多家出版社已經出版的圖書、全國的重要報紙以及網路全書、專利、年鑒、標准、科技成果、政府文件、網際網路信息匯總以及國內外上千個各類加盟資料庫等知識資源。據相關統計,cnki已經被海內外17000多個高校、科研單位、醫院、企業、政府;中小學等各類機構所採用,最終用戶群超過2600萬人。
5、基於Internet的信息檢索
在Internet 上,www 信息資源的一般查詢方法有:基於超文本的信息查詢、基於目錄的信息查詢和基於搜索引擎的信息查詢。
1.) 基於超文本的信息查詢
通過超文本鏈接逐步遍歷龐大的Internet,從一個www 伺服器到另一個www 服務
器,從一個目錄到另一個目錄,從一篇文章到另一篇文章,瀏覽查找所需信息的方法稱為瀏覽,也稱基於超文本的信息查詢方法。
基於超文本的瀏覽模式是一種有別於傳統信息檢索技術的新型檢索方式,它已成為Internet 上最基本的查詢模式。利用瀏覽模式進行檢索時,用戶只需以一個節點作為入口,根據節點中文本的內容了解嵌入其中的熱鏈指向的主題,然後選擇自己感興趣的節點進一步搜索。在搜索過程中,用戶會發現許多相關的節點內容根本沒被自己所預想到,而是在瀏覽過程中不斷蹦出來,提醒用戶注意它。
隨著 www 伺服器的急劇增加,通過一步步瀏覽來查找所需信息已非常困難。為幫助用戶快速方便地搜尋所需信息,各種www 信息查詢工具便應運而生,其中最有代表性的是基於目錄和基於搜索引擎的信息查詢工具,而利用這些工具來查找信息的方法就被稱為基於目錄和基於搜索引擎的信息查詢方法。
2). 基於目錄的信息查詢
為了幫助Internet 上用戶方便地查詢到所需要的信息,人們按照圖書館管理書目的方法設置了目錄。網上目錄一般以主題方式來組織,大主題下又包括若干小主題,這樣一層一層地查下去,直到比較具體的信息標題。目錄存放在www 伺服器里,各個主題通過超文本的方式組織在一起,用戶通過目錄最終可得到所需信息的網址,即可到相應的地方查找信息,這種通過目錄幫助的方法獲得所需信息的網址繼而查找信息的方法稱為基於目錄的信息查詢方法。
有許多機構專門收集Internet 上的信息地址,並編製成目錄提供給網上用戶。Yahoo就是一個非常著名的基於目錄幫助的網址,其目錄按照一般主題組織,頂層按經濟、計算機、教育、政治、新聞、科學等分成14 大類目錄,每一大類又分成若乾子類,層層遞進。
3). 基於搜索引擎的信息查詢
搜索引擎又稱www 檢索工具,是www 上的一種信息檢索軟體。www 檢索工具的工
作原理與傳統的信息檢索系統類似,都是對信息集合和用戶信息需求集合的匹配和選擇。基於搜索工具的檢索方法接近於我們通常所熟悉的檢索方式,即輸入檢索詞以及各檢索詞之間的邏輯關系,然後檢索軟體根據輸入信息在索引庫中搜索,獲得檢索結果(在Internet 上是一系列節點地址)並輸出給用戶。
搜索引擎實際上是Internet 的服務站點,有免費為公眾提供服務的,也有進行收費服務的。不同的檢索服務可能會有不同界面,不同的側重內容,但有一點是共同的,就是都有一個龐大的索引資料庫。這個索引庫是向用戶提供檢索結果的依據,其中收集了Internet 上數百萬甚至數千萬主頁信息,包括該主頁的主題、地址,包含於其中的被鏈接檔主題,以及每個文檔中出現的單詞的頻率、位置等。最著名的搜索引擎莫過於Google和網路了。