1. 我想做一个带图片的检索数据库,单机版,就是输入名字后就可以看到相关图片资料,哪个高手指点
单机的如果不是很大的话可以试一下VF,小巧,可以再各个电脑之间互相传,操作也挺简单的,有兴趣的话可以试试。
2. 计算机信息检索系统的数据库
数据库是将数据按一定格式存储在计算机内的数据的仓库,即存储在计算机内的相关数据的集合。数据库是有组织、可共享的各类数据的集合,数据库中的数据按照一定的规格组织、描述和存储,具有较小冗余度和较高的数据独立性、易维护性与扩展性。
数据库类型 (1) 参考数据库(reference database)
l数目数据库(bibliographic database)
l指南数据库(referral database)
(2) 源数据库(source database)
l数值数据库(numeric database)
l文本—数值数据库(textual-numeric database)
l全文数据库(full-text database)
l术语数据库(terminological database)
l图像数据库(graphic database)
(3) 混合型数据库(mixed database)
混合型数据库是能够同时存储多种不同类型数据的数据库。
3. 如何制作一个带查询搜索界面的数据库软件
软件的实现是一个模板问题,跟具体数据无关。
查询搜索是数据库的基本功能,就看你用什么语
言写了。Java的话用JDBC或JDO都可以,C/C++的
话用ADO即可。
4. 现代信息检索服务系统有哪些类型各自的特点是什么举例说明
现代信息检索服务系统指计算机信息检索系统,主要包括,联机检索系统、光盘检索系统和网络信息检索系统。
(一)光盘数据库检索
光盘数据库检索是由微机、光盘数据库、检索软件等组成,目前国内普遍采用的是网络检索系统,它是由光盘服务器、计算机局域网、光盘库/磁盘阵列、检索软件等组成,其特点是设备简单、费用低、检索技术易掌握,但检索范围受到光盘数据库的限制。更新不够及时;相对于手工检索而言,它的检索速度快,检索灵活方便,检索入口多。
(二)联机检索
联机检索系统是由联机服务的中心计算机,检索终端。通讯网络、联机数据库、检索软件等构成,检索终端通过信息路线与信息系统的主机连接,在中央处理机的控制之下查询系统的若干个数据库,并能够与系统实时对话,随时调整检索策略。其特点是检索范围广泛、检索速度快,检索功能完善,及时性好,可以联机订购原文,它拥有的数据库量大,更新及时,但检索技术复杂,设备要求高,费用昂贵。
(三)网络信息检索
网络信息检索系统是由计算机服务器,用户终端、通讯网络、网络数据库等组成,其特点是检索方法简单、检索灵活方便、及时性好,检索费用和速度低于联机检索系统。通过网络接口软件,用户可以在任何一个终端查询各地网络上的信息资源。网络检索实际上是更加广泛的联机信息检索系统。
1.DIALOG系统概述
美国Dialog系统是目前世界上规模最大、影响最广泛的综合性商业联机检索系统,也是我国科技界广泛使用的系统。其中心设在美国加利福尼亚州的PALOALTO市。
Dialog联机检索用户遍布世界100多个国家。D1ALoG现有全文、题录、事实及数据型数据库数百个,都是质量很高、很权威的核心数据库,其中包括着名的工程索引(Ei)、科学引文索引(SCI)、英国科学文摘(1NSPEC)、世界专利索引(WPI)等,其数量平均每年约增长20%一28%。文献量已近数亿篇,内容涉及自然科学、社会科学、工程技术、人文科学、时事报道及商业经济等各个领域。
DIAIOG提供的服务项目有各种类型信息检索、定题股务、原文订购(E—mail,FAX或邮寄传递)等。它的检索功能强大,深度和广度要求高的检索均可做到,数据库更新及时,数据库中收录的文献年限长。利用Dialog系统,可进行项目交新、文献调研、课题立项、申报专利、了解市场动态和竞争对手、新产品开发、公司的背景憾况、经济预测等信息。
(1)联机准备。对于用户而言,要想使用Dialog联机检索系统,首先要具备相应的软、硬件设备;其次,要向Dialog系统申请联号,交纳一定的开户费用,每年要文年费和数据库使用费。
与DIALOG联机所需要的软、硬件设备包括终端、通信软件和调制解调器。通信软件安装在用户终端,用于实现用户和主机间的通信,Dialog LINK是dialog系统专门为用户设计的通信软件。该软件功能丰富,集成化程度高,具有自动登录或按号功能及在联机前建立并存储检索式,存储、显示和打印检索结果,显示图形,标记、存储记录,追踪记忆等功能。该软件是动态更新的。
在申请成为Dialog用户后,系统将为用户提供两个号码:
1)用户号。用户号(User Name)是D1ALog用户的账号,也是用户的标记。系统将对此用户使用系统的情况进行跟踪、记殿、邮寄账单和数据库更新资料。当用户与DIALOG系统进行各种联系时,均须提供账号。
2)用户口令。用户口令(Password)是用户进入D1ALog系统的钥匙,当用户进行联机登录时,用户名和口令必须结合起来使用。
(2)联机方式。在用户具备了上述条件并安装好各种硬件及软件后,就可以实现与Dialog检索系统联机。Dialog系统向用户提供多种服务方式、检索界面及各种数据库。DIALOG的联机方式有两种:
1)通过CHINAPAC(专线)与D1ALOG联机。具体过程为:①输入主机所属的分组交换网址;②输入系统标识符;②输入用户号;④输入用户密码。
2)通过CHINANET或Internet与Dialog联机。如果用户的计算机已经与Internet联网,则可使用远程登录命令Telnet diaLoG.com或通信软件Dialog LINK,就可以登录到DIALOG联机系统,以文本界面方式检索Dialog数据库,也可以使用ie浏览器以Web的方式检索Dialog数据库。与专线方法相比,这种联机方法更加直接、方便。DIALOG系统的Internet Web界面的检索方法有以下几种:
a.利用Web直接上网检索,其web网址为http://www.DialogWeb.com。这种方式检索赞用较低,缺点是如果用户需要将所有检索过程存盘,就要一屏一屏地存盘,否则随着检索指令的变化,不及时存盘,数据容易丢失。
b.特别为专业人员推出的web界面。其网址为http://www.dialogclassic.com。这是最新推出的界面,速度快,检索过程每一屏幕均保留,不丢失效据,便于存盘,界面是专业人员熟悉的界面,能很快地从旧检索方式转入适应新的web界面。
c.非专业检索人员web界面。其网址为http://www.dialogselect.com。dialog select作为在Internet上的傻瓜界面主要针对最终用户,而非专业人员。对于初学者、最终信息用户和不愿学习Dialog检索指令的人可使用其傻瓜界面。 ‘
d.数据库蓝页网址:http://library.Dialog.com/bluesheets。用户可以按数据库名称、文档号、主题浏览蓝页。数据库蓝页提供每一种数据库的收录范围,可供检索的字段、打印格式、记录样式及收费状况等。
(3)Dialog系统的检索特点。
1)Dialog系统具有两种检索方式:菜单式和命令式。菜单式指Dialogweb (guided search)及DialogSelect的检索方式,其检索界面为图形界面,明确直观。该界面无须了解Dialog检索指令,适合于非专业检索人员和初学者使用,用户可以按照系统提示一步一步进行检索;命令式指远程登录(Telnet)、DialogClassic及DialogWeb(command search)的检索方式,检索时需输入各种指令,检索快速、准确,适合于专业人员使用。
2)DIALOG系统有两种索引:基本索引和辅助索引。从上述可知,联机检索是通过倒排档进行的,Dialog系统的田搽档就是基本索引和辅助索引。
基本索引字段主要有标题、规范词、自由词、文摘等(各个数据库的基本检索字段不完全相同,用户需要查问相关数据库的主页才能确定)。绝大多数数据库都包含TA、DE、ID、AB(标题、叙词、自由词、文摘)4个基本索引字段。基本索引字段采用后级代码进行检索。如SMOTOROLA/CO将检索字段限于公司名称字段;SANTHRAX/TI将检索词限于标题字段。
Dialog系统数据库将作者、单位名称、期刊名称、文献类型、语种、出版年份等作为辅助索引字段,采用前缀代码检索。如SAU=JOHNSON,S?;S PY=1998等。适当使用这些检索途径,用户可以迅速、准确地找到自己所需要的信息。
3)DIALOG系统的多数据库访问和查重功能。DIAOG可用一次性检索方法对多个数据库进行检索。用一次性检索方法不仅可以比较交叉文档的检索结果,而且可以限制检索项、组配检索项和显示检索结果,使多文档查找犹如在单一文档中查找一样灵活,该功能一次最多可以检索60个数据库。由于一次性检索的命中文献为所选数据库检索文献之和,其中有些文献为重复文献,dialog提供了查重功能,以便提高检索效率和降低检索赏用。
2. 《工程索引 (Ei Compendex PIus)》数据库光盘
1)简介
《工程索引(Ei ComPendex PIus)》数据库光盘简称CoM—PENDEx数据库,是KR OnDisc for windows光盘系列中的一种光盘,由美国Knight—Ridder信息公司发行。这个数据库就是印刷本《The Engineering lndex)的光盘版,该光盘收录了自1970年以来的工程索引信息,内容包括空间技术、应用物理、生物医学仪器、化学工程、城市建设工程、环境工程、电子工程、能源技术、工程材料、海洋工程、机械工程、采矿和冶金、管理工程等。该光盘有DOS版、Windows版、Macintosh版等几种,以便适合不同的PC与操作系统。检索系统与数据一般在同一张光盘上,数据每月更新,检索系统的安装十分简单方便,几乎不需要更改任何系统参数,如果在DOS环境下检索,则不在硬盘上安装检索系统也可以,直接在光盘驱动器盘符下键入ONDISC命令,即可进入检索系统。该光盘上一般还附带有与Dialog联机的远程终端访问系统,时间跨度为19洲午主今。l 988年-1991年,各个年份的光盘检索系统工作在DOS平台上,1992年以后的检索系统工作在Windows平台上。1999年,Dialog公司推出了提供Web浏览方式的光盘数据库服务软件Dialog@site,购买并在本地装有Windows NT系统的服务器上安装运行Dialog@site软件后,即可通过局域网或因特网访问该数据库。它们的检索步骤和检索策略基本相同。COMPEND—EX数据库的特点是检索途径多,策略变换灵活,显示格式多,另外还有多种辅助分析手段,因而是工程技术领域最常用的数据库光盘。
3. 《中国学术期刊(光盘版)》全文数据库
1)简介
《中国学术期刊(光盘版)》全文数据库,简称CAJR数据库,是中国制作的第一个集成化、多功能型电子学术期刊数据库。这个数据库由清华大学主办,1996年起出版发行。CAJR数据库的特点是期刊全文入编,图文混排,显示、打印输出格式与印刷版期刊保持一致。对最新内容,数据库实行按月更新,以保证信息的及时性,对不在数据库重点收录范围的期刊文献(或称为过刊文献),陆续建立过期期刊题录摘要库,与现刊文献合并成同一光盘.可实现题录摘要的追溯查询。对重点学科的过期期刊,则可建立过期期刊全文回溯库,以实现全文追溯查询。在软件方面,CAJR数据库采用传统和智能化全文检索相结合的方案,保留了传统数据库检索的优点,增加了检索入口。
4. 中国知识资源总库简介 .
中国知网又称中国知识基础设施工程(China National knowledge infrastructure)是以实现全社会知识资源传播共享与增值利用为目标的国家信息化重点建设项目,于1995年正式立项。它由清华同方光盘股份有限公司、中国学术期刊(光盘版)电子杂志社、光盘国家工程研究中心等单位于1999年6月在《中国学术期刊光盘版)》(caj-cd)和中国期刊网.(CJN)全文数据库建设的基础上研制开发的一项规模更大、内容更广、结构更系统的知识信息化建设项目。
截止2007年底,cnki涵盖了国内9000多种期刊杂志,1500多种重要会议文献,420多家博士培养单位论文,650多家硕士培养单位论文,300多家出版社已经出版的图书、全国的重要报纸以及网络全书、专利、年鉴、标准、科技成果、政府文件、因特网信息汇总以及国内外上千个各类加盟数据库等知识资源。据相关统计,cnki已经被海内外17000多个高校、科研单位、医院、企业、政府;中小学等各类机构所采用,最终用户群超过2600万人。
5、基于Internet的信息检索
在Internet 上,www 信息资源的一般查询方法有:基于超文本的信息查询、基于目录的信息查询和基于搜索引擎的信息查询。
1.) 基于超文本的信息查询
通过超文本链接逐步遍历庞大的Internet,从一个www 服务器到另一个www 服务
器,从一个目录到另一个目录,从一篇文章到另一篇文章,浏览查找所需信息的方法称为浏览,也称基于超文本的信息查询方法。
基于超文本的浏览模式是一种有别于传统信息检索技术的新型检索方式,它已成为Internet 上最基本的查询模式。利用浏览模式进行检索时,用户只需以一个节点作为入口,根据节点中文本的内容了解嵌入其中的热链指向的主题,然后选择自己感兴趣的节点进一步搜索。在搜索过程中,用户会发现许多相关的节点内容根本没被自己所预想到,而是在浏览过程中不断蹦出来,提醒用户注意它。
随着 www 服务器的急剧增加,通过一步步浏览来查找所需信息已非常困难。为帮助用户快速方便地搜寻所需信息,各种www 信息查询工具便应运而生,其中最有代表性的是基于目录和基于搜索引擎的信息查询工具,而利用这些工具来查找信息的方法就被称为基于目录和基于搜索引擎的信息查询方法。
2). 基于目录的信息查询
为了帮助Internet 上用户方便地查询到所需要的信息,人们按照图书馆管理书目的方法设置了目录。网上目录一般以主题方式来组织,大主题下又包括若干小主题,这样一层一层地查下去,直到比较具体的信息标题。目录存放在www 服务器里,各个主题通过超文本的方式组织在一起,用户通过目录最终可得到所需信息的网址,即可到相应的地方查找信息,这种通过目录帮助的方法获得所需信息的网址继而查找信息的方法称为基于目录的信息查询方法。
有许多机构专门收集Internet 上的信息地址,并编制成目录提供给网上用户。Yahoo就是一个非常着名的基于目录帮助的网址,其目录按照一般主题组织,顶层按经济、计算机、教育、政治、新闻、科学等分成14 大类目录,每一大类又分成若干子类,层层递进。
3). 基于搜索引擎的信息查询
搜索引擎又称www 检索工具,是www 上的一种信息检索软件。www 检索工具的工
作原理与传统的信息检索系统类似,都是对信息集合和用户信息需求集合的匹配和选择。基于搜索工具的检索方法接近于我们通常所熟悉的检索方式,即输入检索词以及各检索词之间的逻辑关系,然后检索软件根据输入信息在索引库中搜索,获得检索结果(在Internet 上是一系列节点地址)并输出给用户。
搜索引擎实际上是Internet 的服务站点,有免费为公众提供服务的,也有进行收费服务的。不同的检索服务可能会有不同界面,不同的侧重内容,但有一点是共同的,就是都有一个庞大的索引数据库。这个索引库是向用户提供检索结果的依据,其中收集了Internet 上数百万甚至数千万主页信息,包括该主页的主题、地址,包含于其中的被链接档主题,以及每个文档中出现的单词的频率、位置等。最着名的搜索引擎莫过于Google和网络了。
5. 我想做一个查找我们办公室材料的检索系统,就是让办公室的同事查询自己数据库的文件方便的系统
首先你需要确定编程语言,然后你要分析你们办公室的材料在数据库中的结构。然后你要写上精美的前端页面。再然后就可以上线慢慢修改bug了。
6. 我想做一个web页面实现数据库检索的,如果有多个字段,而且字段可以输入,也可以为空,怎么解决啊
你好 我给你一个比较通用的写法 希望能帮到你.
String sql="SELECT * FROM TESTTABLE WHERE 1=1";
if(!id.equels("")&&id!=null)
sql+="and id="+id;
if(!CLASS.equels("")&&CLASS!=null)
sql+="AND CLASS="+CLASS;
if(!NAME.equels("")&&NAME!=null)
sql+="AND NAME="+NAME;
如上所属 你可以得到一个组装起来的sql语句,然后执行出你想得到的值,希望能帮到你.
7. 怎样使用EBSCOhost系统外文全文数据库
一.简 介
EBSCOhost是美国EBSCO公司的全文数据库检索系统,目前有全文数据库10余个,其中最主要的是:①学术期刊全文数据库(Academic Search Premier,简称ASP):收录有7888种学术期刊的文摘和索引,其中全文刊近4700种,同行评审刊3600多种;②商业资源全文数据库(Business Source Premier,简称BSP):收录有 2,300 多种期刊的全文,其中同行评审刊1100多种。
二.学科范围
ASP学术期刊全文数据库:包括有关社会科学、人文科学、教育、计算机科学、工程技术、物理、化学、语言学、艺术与文化、医学、种族研究等相关学科领域。BSP商业资源全文数据库:包括国际商务、经济学、经济管理、金融、财会、劳动人事等相关学科领域。
目前, EBSCOhost系统中ASP、BSP全文数据库正对我校试用开通。在校园网IP段内的用户均可直接访问。
三.如何进入
首次使用请下载并安装"Adobe Acrobat Reader " 全文阅读器。
⑴启动WEB浏览器(IE),在地址栏直接键入http://search.ebscohost.com, 进入检索数据库选择页面。
⑴.浏览//检索方法
①按字母顺序查找//浏览出版物。
②按主题和说明查找//浏览出版物。
③按任意词查找//浏览出版物。
⑵.点击出版物名,显示年卷信息;点击年卷,显示卷期信息。
⑶.点击卷期,显示所载文章篇名等记录结果。
4.其它检索功能
⑴.Subject terms(按钮):主题检索:可以按字母顺序和相关性对数据库的主题词表进行检索。
⑵.Index(按钮):字段索引(除主题索引外)。可浏览或查找某个检索词。
⑶.Company Profiles(按钮):公司概况数据库。在单独检索商业资源( Business Source 系列)数据库时使用,可以提供较详细的公司情况报告。
⑷.References(按钮):参考文献检索。可根据作者、题名、文献来源等检索参考文献。
⑸.Image(按钮):一个可检索的图片资料库。可检索人物、自然科学、地理、历史、地图和旗帜等类别的图片。
五. 结果处理
在检索结果中,如果出现“ HTML Full Text ” (文本型全文)或 “ PDF Full Text ”(PDF格式全文)标示,则系统提供有这篇文献的全文,否则就没有提供全文。
可根据需要对检索结果进行浏览、选择(添加到收藏夹)、E-mail发送、下载复制、存盘、打印等。使用“Print、E-mail、Save”功能处理检索结果:点击按钮后,可根据个人需要,选择相应的形式和内容打印、保存或E-mail检索结果。
8. 做一个搜索引擎要涉及那些知识求专家建议
随着互联网的迅猛发展、WEB信息的增加,用户要在信息海洋里查找自己所需的信息,就象大海捞针一样,搜索引擎技术恰好解决了这一难题(它可以为用户提供信息检索服务)。搜索引擎是指互联网上专门提供检索服务的一类网站,这些站点的服务器通过网络搜索软件(例如网络搜索机器人)或网络登录等方式,将Intemet上大量网站的页面信息收集到本地,经过加工处理建立信息数据库和索引数据库,从而对用户提出的各种检索作出响应,提供用户所需的信息或相关指针。用户的检索途径主要包括自由词全文检索、关键词检索、分类检索及其他特殊信息的检索(如企业、人名、电话黄页等)。下面以网络搜索机器人为例来说明搜索引擎技术。
1.网络机器人技术
网络机器人(Robot)又被称作Spider、Worm或Random,核心目的是为获取Intemet上的信息。一般定义为“一个在网络上检索文件且自动跟踪该文件的超文本结构并循环检索被参照的所有文件的软件”。机器人利用主页中的超文本链接遍历WWW,通过U趾引用从一个HT2LIL文档爬行到另一个HTML文档。网上机器人收集到的信息可有多种用途,如建立索引、HIML文件合法性的验证、uRL链接点验证与确认、监控与获取更新信息、站点镜像等。
机器人安在网上爬行,因此需要建立一个URL列表来记录访问的轨迹。它使用超文本,指向其他文档的URL是隐藏在文档中,需要从中分析提取URL,机器人一般都用于生成索引数据库。所有WWW的搜索程序都有如下的工作步骤:
(1)机器人从起始URL列表中取出URL并从网上读取其指向的内容;
(2)从每一个文档中提取某些信息(如关键字)并放入索引数据库中;
(3)从文档中提取指向其他文档的URL,并加入到URL列表中;
(4)重复上述3个步骤,直到再没有新的URL出现或超出了某些限制(时间或磁盘空间);
(5)给索引数据库加上检索接口,向网上用户发布或提供给用户检索。
搜索算法一般有深度优先和广度优先两种基本的搜索策略。机器人以URL列表存取的方式决定搜索策略:先进先出,则形成广度优先搜索,当起始列表包含有大量的WWW服务器地址时,广度优先搜索将产生一个很好的初始结果,但很难深入到服务器中去;先进后出,则形成深度优先搜索,这样能产生较好的文档分布,更容易发现文档的结构,即找到最大数目的交叉引用。也可以采用遍历搜索的方法,就是直接将32位的IP地址变化,逐个搜索整个Intemet。
搜索引擎是一个技术含量很高的网络应用系统。它包括网络技术、数据库技术动标引技术、检索技术、自动分类技术,机器学习等人工智能技术。
2.索引技术
索引技术是搜索引擎的核心技术之一。搜索引擎要对所收集到的信息进行整理、分类、索引以产生索引库,而中文搜索引擎的核心是分词技术。分词技术是利用一定的规则和词库,切分出一个句子中的词,为自动索引做好准备。目前的索引多采用Non—clustered方法,该技术和语言文字的学问有很大的关系,具体有如下几点:
(1)存储语法库,和词汇库配合分出句子中的词汇;
(2)存储词汇库,要同时存储词汇的使用频率和常见搭配方式;
(3)词汇宽,应可划分为不同的专业库,以便于处理专业文献;
(4)对无法分词的句子,把每个字当作词来处理。
索引器生成从关键词到URL的关系索引表。索引表一般使用某种形式的倒排表(1nversionUst),即由索引项查找相应的URL。索引表也要记录索引项在文档中出现的位置,以便检索器计算索引项之间的相邻关系或接近关系,并以特定的数据结构存储在硬盘上。
不同的搜索引擎系统可能采用不尽相同的标引方法。例如Webcrawler利用全文检索技术,对网页中每一个单词进行索引;Lycos只对页名、标题以及最重要的100个注释词等选择性词语进行索引;Infoseek则提供概念检索和词组检索,支持and、or、near、not等布尔运算。检索引擎的索引方法大致可分为自动索引、手工索引和用户登录三类。
3. 检索器与结果处理技术
检索器的主要功能是根据用户输入的关键词在索引器形成的倒排表中进行检索,同时完成页面与检索之间的相关度评价,对将要输出的结果进行排序,并实现某种用户相关性反馈机制。
通过搜索引擎获得的检索结果往往成百上千,为了得到有用的信息,常用的方法是按网页的重要性或相关性给网页评级,进行相关性排序。这里的相关度是指搜索关键字在文档中出现的额度。当额度越高时,则认为该文档的相关程度越高。能见度也是常用的衡量标准之一。一个网页的能见度是指该网页入口超级链接的数目。能见度方法是基于这样的观点:一个网页被其他网页引用得越多,则该网页就越有价值。特别地,一个网页被越重要的网页所引用,则该网页的重要程度也就越高。结果处理技术可归纳为:
(1)按频次排定次序 通常,如果一个页面包含了越多的关键词,其搜索目标的相关性应该越好,这是非常合平常理的解决方案。
(2)按页面被访问度排序 在这种方法中,搜索引擎会记录它所搜索到的页面被访问的频率。人们访问较多的页面通常应该包含比较多的信息,或者有其他吸引入的长处。这种解决方案适合一般的搜索用户,而因为大部分的搜索引擎都不是专业性用户,所以这种方案也比较适合一般搜索引擎使用。
(3)二次检索 进一步净化(比flne)结果,按照一定的条件对搜索结果进行优化,可以再选择类别、相关词进行二次搜索等。
由于目前的搜索引擎还不具备智能,除非知道要查找的文档的标题,否则排列第一的结果未必是“最好”的结果。所以有些文档尽管相关程度高,但并不一定是用户最需要的文档。
搜索引擎技术的行业应用:
搜索引擎的行业应用一般指类似于千瓦通信提供的多种搜索引擎行业与产品应用模式,大体上分为如下几种形式:
1、 政府机关行业应用
n 实时跟踪、采集与业务工作相关的信息来源。
n 全面满足内部工作人员对互联网信息的全局观测需求。
n 及时解决政务外网、政务内网的信息源问题,实现动态发布。
n 快速解决政府主网站对各地级子网站的信息获取需求。
n 全面整合信息,实现政府内部跨地区、跨部门的信息资源共享与有效沟通。
n 节约信息采集的人力、物力、时间,提高办公效率。
2、企业行业应用
n 实时准确地监控、追踪竞争对手动态,是企业获取竞争情报的利器。
n 及时获取竞争对手的公开信息以便研究同行业的发展与市场需求。
n 为企业决策部门和管理层提供便捷、多途径的企业战略决策工具。
n 大幅度地提高企业获取、利用情报的效率,节省情报信息收集、存储、挖掘的相关费用,是提高企业核心竞争力的关键。
n 提高企业整体分析研究能力、市场快速反应能力,建立起以知识管理为核心的竞争情报数据仓库,是提高企业核心竞争力的神经中枢。
3、新闻媒体行业应用
n 快速准确地自动跟踪、采集数千家网络媒体信息,扩大新闻线索,提高采集速度。
n 支持每天对数万条新闻进行有效抓取。监控范围的深度、广度可以自行设定。
n 支持对所需内容智能提取、审核。
n 实现互联网信息内容采集、浏览、编辑、管理、发布的一体化。
4、 行业网站应用
n 实时跟踪、采集与网站相关的信息来源。
n 及时跟踪行业的信息来源网站,自动,快速更新网站信息。动态更新信息。
n 实现互联网信息内容采集、浏览、编辑、管理、发布的一体化。
n 针对商务网站提出商务管理模式,大大提高行业网站的商务应用需求。
n 针对资讯网站分类目录生成,提出用户生成网站分类结构。并可以实时增加与更新分类结构。不受级数限制。从而大大利高行业的应用性。
n 提供搜索引擎SEO优化专业服务,快速提高行业网站的推广。
n 提供与CCDC呼叫搜索引擎的广告合作。建立行业网站联盟,提高行业网站知名度。
5) 网络信息监察与监控
n 网络舆情系统。如“千瓦通信-网络舆情雷达监测系统”
n 网站信息与内容监察与监控系统,如“千瓦通信-网站信息与内容监测与监察系统(站内神探)”
随着因特网的迅猛发展、WEB信息的增加,用户要在信息海洋里查找信息,就象大海捞
针一样,搜索引擎技术恰好解决了这一难题(它可以为用户提供信息检索服务)。目前,
搜索引擎技术正成为计算机工业界和学术界争相研究、开发的对象。
搜索引擎(Search Engine)是随着WEB信息的迅速增加,从1995年开始逐渐发展起来
的技术。据发表在《科学》杂志1999年7月的文章《WEB信息的可访问性》估计,全球目前
的网页超过8亿,有效数据超过9T,并且仍以每4个月翻一番的速度增长。用户要在如此浩
瀚的信息海洋里寻找信息,必然会"大海捞针"无功而返。搜索引擎正是为了解决这个"迷航
"问题而出现的技术。搜索引擎以一定的策略在互联网中搜集、发现信息,对信息进行理解
、提取、组织和处理,并为用户提供检索服务,从而起到信息导航的目的。搜索引擎提供
的导航服务已经成为互联网上非常重要的网络服务,搜索引擎站点也被美誉为"网络门户"
。搜索引擎技术因而成为计算机工业界和学术界争相研究、开发的对象。本文旨在对搜索
引擎的关键技术进行简单的介绍,以起到抛砖引玉的作用。
分 类
按照信息搜集方法和服务提供方式的不同,搜索引擎系统可以分为三大类:
1.目录式搜索引擎:以人工方式或半自动方式搜集信息,由编辑员查看信息之后,人
工形成信息摘要,并将信息置于事先确定的分类框架中。信息大多面向网站,提供目录浏
览服务和直接检索服务。该类搜索引擎因为加入了人的智能,所以信息准确、导航质量高
,缺点是需要人工介入、维护量大、信息量少、信息更新不及时。这类搜索引擎的代表是
:Yahoo、LookSmart、Open Directory、Go Guide等。
2.机器人搜索引擎:由一个称为蜘蛛(Spider)的机器人程序以某种策略自动地在互
联网中搜集和发现信息,由索引器为搜集到的信息建立索引,由检索器根据用户的查询输
入检索索引库,并将查询结果返回给用户。服务方式是面向网页的全文检索服务。该类搜
索引擎的优点是信息量大、更新及时、毋需人工干预,缺点是返回信息过多,有很多无关
信息,用户必须从结果中进行筛选。这类搜索引擎的代表是:AltaVista、Northern Ligh
t、Excite、Infoseek、Inktomi、FAST、Lycos、Google;国内代表为:"天网"、悠游、O
penFind等。
3.元搜索引擎:这类搜索引擎没有自己的数据,而是将用户的查询请求同时向多个搜
索引擎递交,将返回的结果进行重复排除、重新排序等处理后,作为自己的结果返回给用
户。服务方式为面向网页的全文检索。这类搜索引擎的优点是返回结果的信息量更大、更
全,缺点是不能够充分使用所使用搜索引擎的功能,用户需要做更多的筛选。这类搜索引
擎的代表是WebCrawler、InfoMarket等。
性 能 指 标
我们可以将WEB信息的搜索看作一个信息检索问题,即在由WEB网页组成的文档库中检索
出与用户查询相关的文档。所以我们可以用衡量传统信息检索系统的性能参数-召回率(R
ecall)和精度(Pricision)衡量一个搜索引擎的性能。
召回率是检索出的相关文档数和文档库中所有的相关文档数的比率,衡量的是检索系
统(搜索引擎)的查全率;精度是检索出的相关文档数与检索出的文档总数的比率,衡量
的是检索系统(搜索引擎)的查准率。对于一个检索系统来讲,召回率和精度不可能两全
其美:召回率高时,精度低,精度高时,召回率低。所以常常用11种召回率下11种精度的
平均值(即11点平均精度)来衡量一个检索系统的精度。对于搜索引擎系统来讲,因为没
有一个搜索引擎系统能够搜集到所有的WEB网页,所以召回率很难计算。目前的搜索引擎系
统都非常关心精度。
影响一个搜索引擎系统的性能有很多因素,最主要的是信息检索模型,包括文档和查询
的表示方法、评价文档和用户查询相关性的匹配策略、查询结果的排序方法和用户进行相
关度反馈的机制。
主 要 技 术
一个搜索引擎由搜索器、索引器、检索器和用户接口等四个部分组成。
1.搜索器
搜索器的功能是在互联网中漫游,发现和搜集信息。它常常是一个计算机程序,日夜
不停地运行。它要尽可能多、尽可能快地搜集各种类型的新信息,同时因为互联网上的信
息更新很快,所以还要定期更新已经搜集过的旧信息,以避免死连接和无效连接。目前有
两种搜集信息的策略:
● 从一个起始URL集合开始,顺着这些URL中的超链(Hyperlink),以宽度优先、深
度优先或启发式方式循环地在互联网中发现信息。这些起始URL可以是任意的URL,但常常
是一些非常流行、包含很多链接的站点(如Yahoo!)。
● 将Web空间按照域名、IP地址或国家域名划分,每个搜索器负责一个子空间的穷尽
搜索。 搜索器搜集的信息类型多种多样,包括HTML、XML、Newsgroup文章、FTP文件、
字处理文档、多媒体信息。 搜索器的实现常常用分布式、并行计算技术,以提高信息
发现和更新的速度。商业搜索引擎的信息发现可以达到每天几百万网页。
2.索引器
索引器的功能是理解搜索器所搜索的信息,从中抽取出索引项,用于表示文档以及生
成文档库的索引表。
索引项有客观索引项和内容索引项两种:客观项与文档的语意内容无关,如作者名、
URL、更新时间、编码、长度、链接流行度(Link Popularity)等等;内容索引项是用来
反映文档内容的,如关键词及其权重、短语、单字等等。内容索引项可以分为单索引项和
多索引项(或称短语索引项)两种。单索引项对于英文来讲是英语单词,比较容易提取,
因为单词之间有天然的分隔符(空格);对于中文等连续书写的语言,必须进行词语的切
分。 在搜索引擎中,一般要给单索引项赋与一个权值,以表示该索引项对文档的区分
度,同时用来计算查询结果的相关度。使用的方法一般有统计法、信息论法和概率法。短
语索引项的提取方法有统计法、概率法和语言学法。
索引表一般使用某种形式的倒排表(Inversion List),即由索引项查找相应的文档
。索引表也可能要记录索引项在文档中出现的位置,以便检索器计算索引项之间的相邻或
接近关系(proximity)。
索引器可以使用集中式索引算法或分布式索引算法。当数据量很大时,必须实现即时
索引(Instant Indexing),否则不能够跟上信息量急剧增加的速度。索引算法对索引器
的性能(如大规模峰值查询时的响应速度)有很大的影响。一个搜索引擎的有效性在很大
程度上取决于索引的质量。
3.检索器 检索器的功能是根据用户的查询在索引库中快速检出文档,进行文档与
查询的相关度评价,对将要输出的结果进行排序,并实现某种用户相关性反馈机制。
检索器常用的信息检索模型有集合理论模型、代数模型、概率模型和混合模型四种。
4.用户接口
用户接口的作用是输入用户查询、显示查询结果、提供用户相关性反馈机制。主要的
目的是方便用户使用搜索引擎,高效率、多方式地从搜索引擎中得到有效、及时的信息。
用户接口的设计和实现使用人机交互的理论和方法,以充分适应人类的思维习惯。
用户输入接口可以分为简单接口和复杂接口两种。
简单接口只提供用户输入查询串的文本框;复杂接口可以让用户对查询进行限制,如
逻辑运算(与、或、非;+、-)、相近关系(相邻、NEAR)、域名范围(如.e、.com)
、出现位置(如标题、内容)、信息时间、长度等等。目前一些公司和机构正在考虑制定
查询选项的标准。
未 来 动 向
搜索引擎已成为一个新的研究、开发领域。因为它要用到信息检索、人工智能、计算
机网络、分布式处理、数据库、数据挖掘、数字图书馆、自然语言处理等多领域的理论和
技术,所以具有综合性和挑战性。又由于搜索引擎有大量的用户,有很好的经济价值,所
以引起了世界各国计算机科学界和信息产业界的高度关注,目前的研究、开发十分活跃,
并出现了很多值得注意的动向。
1.十分注意提高信息查询结果的精度,提高检索的有效性 用户在搜索引擎上进行
信息查询时,并不十分关注返回结果的多少,而是看结果是否和自己的需求吻合。对于一
个查询,传统的搜索引擎动辄返回几十万、几百万篇文档,用户不得不在结果中筛选。解
决查询结果过多的现象目前出现了几种方法:一是通过各种方法获得用户没有在查询语句
中表达出来的真正用途,包括使用智能代理跟踪用户检索行为,分析用户模型;使用相关
度反馈机制,使用户告诉搜索引擎哪些文档和自己的需求相关(及其相关的程度),哪些
不相关,通过多次交互逐步求精。二是用正文分类(Text Categorization)技术将结果分
类,使用可视化技术显示分类结构,用户可以只浏览自己感兴趣的类别。三是进行站点类
聚或内容类聚,减少信息的总量。
2.基于智能代理的信息过滤和个性化服务
信息智能代理是另外一种利用互联网信息的机制。它使用自动获得的领域模型(如We
b知识、信息处理、与用户兴趣相关的信息资源、领域组织结构)、用户模型(如用户背景
、兴趣、行为、风格)知识进行信息搜集、索引、过滤(包括兴趣过滤和不良信息过滤)
,并自动地将用户感兴趣的、对用户有用的信息提交给用户。智能代理具有不断学习、适
应信息和用户兴趣动态变化的能力,从而提供个性化的服务。智能代理可以在用户端进行
,也可以在服务器端运行。
3.采用分布式体系结构提高系统规模和性能
搜索引擎的实现可以采用集中式体系结构和分布式体系结构,两种方法各有千秋。但
当系统规模到达一定程度(如网页数达到亿级)时,必然要采用某种分布式方法,以提高
系统性能。搜索引擎的各个组成部分,除了用户接口之外,都可以进行分布:搜索器可以
在多台机器上相互合作、相互分工进行信息发现,以提高信息发现和更新速度;索引器可
以将索引分布在不同的机器上,以减小索引对机器的要求;检索器可以在不同的机器上.