① 证券的舆情监测系统关键是什么
证券的舆情监测系统，说起来简单，原理也不难，就网络采集、信息整理、数据处理统计报表、几大点。
但是真的做起来，很难的，没有专业的长期技术研究，采集这一关是绝对过不去的，因为国内的证券行业网站格式太多了，数据类型也很多。
② web挖掘怎么实现
截止到今天为止，我尚不知道有什么有价值的web挖掘系统存在，不过您可以参考检索引擎的挖掘算法，比如Apache的lucene等
http://lucene.apache.org/java/docs/index.html
-------------
并为您附录以下信息：
近年来，随着 Internet/Web技术的快速普及和迅猛发展，使各种信息可以以非常低的成本在网络上获得，由于Internet/WWW在全球互连互通，可以从中取得的数据量难以计算，而且Internet/WWW的发展趋势继续看好，特别是电子商务的蓬勃发展为网络应用提供了强大支持，如何在WWW这个全球最大的数据集合中发现有用信息无疑将成为数据挖掘研究的热点。
Web挖掘指使用数据挖掘技术在WWW数据中发现潜在的、有用的模式或信息。Web挖掘研究覆盖了多个研究领域，包括数据库技术、信息获取技术、统计学、人工智能中的机器学习和神经网络等。
2．Web挖掘流程
与传统数据和数据仓库相比，Web上的信息是非结构化或半结构化的、动态的、并且是容易造成混淆的，所以很难直接以Web网页上的数据进行数据挖掘，而必须经过必要的数据处理。典型Web挖掘的处理流程如下[3]：
1．查找资源：任务是从目标Web文档中得到数据，值得注意的是有时信息资源不仅限于在线Web文档，还包括电子邮件、电子文档、新闻组，或者网站的日志数据甚至是通过Web形成的交易数据库中的数据。
2．信息选择和预处理：任务是从取得的Web资源中剔除无用信息和将信息进行必要的整理。例如从Web文档中自动去除广告连接、去除多余格式标记、自动识别段落或者字段并将数据组织成规整的逻辑形式甚至是关系表。
3．模式发现：自动进行模式发现。可以在同一个站点内部或在多个站点之间进行。
4．模式分析：验证、解释上一步骤产生的模式。可以是机器自动完成，也可以是与分析人员进行交互来完成。
Web挖掘作为一个完整的技术体系，在进行挖掘之前的信息获得IR（Information Retrieval）和信息抽取IE(Information Extraction)相当重要。信息获得（IR）的目的在于找到相关Web文档，它只是把文档中的数据看成未经排序的词组的集合，而信息抽取(IE)的目的在于从文档中找到需要的数据项目，它对文档的结构合表达的含义感兴趣,它得一个重要任务就是对数据进行组织整理并适当建立索引。
信息获得（IR）和信息抽取(IE)技术的研究已近有很长时间，随着Web技术的发展，基于Web技术的IR、 IE得到了更多的重视。由于Web 数据量非常大，而且可能动态变化，用原来手工方式进行信息收集早已经力不从心，目前的研究方向是用自动化、半自动化的方法在Web上进行IR和IE。在 Web环境下既要处理非结构化文档，又要处理半结构化的数据，最近几年在这两方面都有相应的研究成果和具体应用，特别是在大型搜索引擎中得到了很好的应用。
3．Web挖掘分类及各自的研究现状及发展
根据对Web数据的感兴趣程度不同，Web挖掘一般可以分为三类：Web内容挖掘（Web Content mining）、 Web结构挖掘（ Web structure mining）、 Web 用法挖掘（Web usage Mining）
3．1、Web内容挖掘：
指从Web内容/数据/文档中发现有用信息，Web上的信息五花八门，传统的Internet由各种类型的服务和数据源组成，包括WWW、FTP、Telnet等，现在有更多的数据和端口可以使用，比如政府信息服务、数字图书馆、电子商务数据，以及其他各种通过 Web可以访问的数据库。Web内容挖掘的对象包括文本、图象、音频、视频、多媒体和其他各种类型的数据。其中针对无结构化文本进行的Web挖掘被归类到基于文本的知识发现（KDT）领域，也称文本数据挖掘或文本挖掘，是Web挖掘中比较重要的技术领域，也引起了许多研究者的关注。最近在Web多媒体数据挖掘方面的研究成为另一个热点。
Web内容挖掘一般从两个不同的观点来进行研究。从资源查找（IR）的观点来看，Web内容挖掘的任务是从用户的角度出发，怎样提高信息质量和帮助用户过滤信息。而从DB的角度讲Web内容挖掘的任务主要是试图对Web上的数据进行集成、建模，以支持对Web数据的复杂查询。
3．1．1从资源查找（Information Retrival）的观点挖掘非结构化文档：
非结构化文档主要指Web上的自由文本，包括小说、新闻等。在这方面的研究相对比较多一些，大部分研究都是建立在词汇袋（bag of words）或称向量表示法（vector representation）的基础上，这种方法将单个的词汇看成文档集合中的属性，只从统计的角度将词汇孤立地看待而忽略该词汇出现的位置和上下文环境。属性可以是布尔型，根据词汇是否在文档中出现而定，也可以有频度，即该词汇在文档中的出现频率。这种方法可以扩展为选择终结符、标点符号、不常用词汇的属性作为考察集合。词汇袋方法的一个弊端是自由文本中的数据丰富，词汇量非常大，处理起来很困难，为解决这个问题人们做了相应的研究，采取了不同技术，如信息增益，交叉熵、差异比等，其目的都是为了减少属性。另外，一个比较有意义的方法是潜在语义索引（Latent Semantic Indexing），它通过分析不同文档中相同主题的共享词汇，找到他们共同的根，用这个公共的根代替所有词汇，以此来减少维空间。例如： “informing”、“information”、“informer”、“informed”可以用他们的根“inform”来表示，这样可以减少属性集合的规模。
其他的属性表示法还有词汇在文档中的出现位置、层次关系、使用短语、使用术语、命名实体等，目前还没有研究表明一种表示法明显优于另一种。
用资源查找（Information Retrival）的观点挖掘半结构化文档：
与非结构化数据相比，Web上的半结构化文档挖掘指在加入了HTML、超连接等附加结构的信息上进行挖掘，其应用包括超连接文本的分类、聚类、发现文档之间的关系、提出半结构化文档中的模式和规则等。
3．1．2从数据库（Database）的观点挖掘非结构化文档：
数据库技术应用于Web挖掘主要是为了解决Web信息的管理和查询问题。这些问题可以分为三类：Web信息的建模和查询；信息抽取与集成；Web站点建构和重构。
从数据库的观点进行Web内容挖掘主要是试图建立Web站点的数据模型并加以集成，以支持复杂查询，而不止是简单的基于关键词的搜索。这要通过找到Web文档的模式、建立Web数据仓库或Web知识库或虚拟数据库来实现。相关研究主要是基于半结构化数据进行的。
数据库观点主要利用OEM(Object Exchange Model)模型将半结构化数据表示成标识图。OEM中的每个对象都有对象标识（OID）和值，值可以是原子类型，如整型、字符串型、gif、html 等，也可以是一个复合类型，以对象引用集合的形式表示。由于Web数据量非常庞大，从应用的角度考虑，很多研究只处理办结构化数据的一个常用自集。一些有意义的应用是建立多层数据库（MLDB），每一层是它下面层次的概化，这样就可以进行一些特殊的查询和信息处理。对于在半结构化数据上的查询语言研究也得到了人们的重视并做了专题研究。
由于在数据库观点下数据的表示方法比较特殊，其中包含了关系层次和图形化的数据，所以大部分建立在扁平数据集合之上的数据挖掘方法不能直接使用，目前已经有人针对多层数据库挖掘算法进行研究。
3．2、Web结构挖掘：
Web结构挖掘的对象是Web本身的超连接，即对Web文档的结构进行挖掘。对于给定的Web文档集合，应该能够通过算法发现他们之间连接情况的有用信息，文档之间的超连接反映了文档之间的包含、引用或者从属关系，引用文档对被引用文档的说明往往更客观、更概括、更准确。
Web结构挖掘在一定程度上得益于社会网络和引用分析的研究。把网页之间的关系分为incoming连接和 outgoing连接，运用引用分析方法找到同一网站内部以及不同网站之间的连接关系。在Web结构挖掘领域最着名的算法是HITS算法和 PageRank算法。他们的共同点是使用一定方法计算Web页面之间超连接的质量，从而得到页面的权重。着名的Clever和Google搜索引擎就采用了该类算法。
此外，Web结构挖掘另一个尝试是在Web数据仓库环境下的挖掘，包括通过检查同一台服务器上的本地连接衡量 Web结构挖掘Web站点的完全性，在不同的Web数据仓库中检查副本以帮助定位镜像站点，通过发现针对某一特定领域超连接的层次属性去探索信息流动如何影响Web站点的设计。
3．3、Web用法挖掘（Web usage Mining）：
即Web使用记录挖掘，在新兴的电子商务领域有重要意义，它通过挖掘相关的Web日志记录，来发现用户访问 Web页面的模式，通过分析日志记录中的规律，可以识别用户的忠实度、喜好、满意度，可以发现潜在用户，增强站点的服务竞争力。Web使用记录数据除了服务器的日志记录外还包括代理服务器日志、浏览器端日志、注册信息、用户会话信息、交易信息、Cookie中的信息、用户查询、鼠标点击流等一切用户与站点之间可能的交互记录。可见Web使用记录的数据量是非常巨大的，而且数据类型也相当丰富。根据对数据源的不同处理方法，Web 用法挖掘可以分为两类，一类是将Web使用记录的数据转换并传递进传统的关系表里，再使用数据挖掘算法对关系表中的数据进行常规挖掘；另一类是将Web 使用记录的数据直接预处理再进行挖掘。Web 用法挖掘中的一个有趣的问题是在多个用户使用同一个代理服务器的环境下如何标识某个用户，如何识别属于该用户的会话和使用记录，这个问题看起来不大，但却在很大程度上影响着挖掘质量，所以有人专门在这方面进行了研究。通常来讲，经典的数据挖掘算法都可以直接用到Web 用法挖掘上来，但为了提高挖掘质量，研究人员在扩展算法上进行了努力，包括复合关联规则算法、改进的序列发现算法等。
在[4]中，根据数据来源、数据类型、数据集合中的用户数量、数据集合中的服务器数量等将Web 用法挖掘分为五类：
●个性挖掘：针对单个用户的使用记录对该用户进行建模，结合该用户基本信息分析他的使用习惯、个人喜好，目的是在电子商务环境下为该用户提供与众不同的个性化服务。
●系统改进：Web服务（数据库、网络等）的性能和其他服务质量是衡量用户满意度的关键指标，Web 用法挖掘可以通过用户的拥塞记录发现站点的性能瓶颈，以提示站点管理者改进Web缓存策略、网络传输策略、流量负载平衡机制和数据的分布策略。此外，可以通过分析网络的非法入侵数据找到系统弱点，提高站点安全性，这在电子商务环境下尤为重要。
●站点修改：站点的结构和内容是吸引用户的关键。Web 用法挖掘通过挖掘用户的行为记录和反馈情况为站点设计者提供改进的依，比如页面连接情况应如何组织、那些页面应能够直接访问等。
●智能商务：用户怎样使用Web站点的信息无疑是电子商务销售商关心的重点，用户一次访问的周期可分为被吸引、驻留、购买和离开四个步骤，Web用法挖掘可以通过分析用户点击流等Web日志信息挖掘用户行为的动机，以帮助销售商合理安排销售策略。
●Web特征描述：这类研究跟关注这样通过用户对站点的访问情况统计各个用户在页面上的交互情况，对用户访问情况进行特征描述。
4．结束语
尽管Web挖掘的形式和研究方向层出不穷，但我认为随着电子商务的兴起和迅猛发展，未来Web挖掘的一个重要应用方向将是电子商务系统。而与电子商务关系最为密切的是用法挖掘（Usage Mining），也就是说在这个领域将会持续得到更多的重视。另外，在搜索引擎的研究方面，结构挖掘的研究已经相对成熟，基于文本的内容挖掘也已经有许多研究，下一步将会有更多的研究者把多媒体挖掘最为研究方向。
③ web mining是什么意思啊
基于WEB 的数据挖掘
大致意思是:
基于WEB 的数据挖掘是当前热门研究方向之一，而且其应用范畴广阔，潜力巨大；Web Mining 技术也在不断提出和改进之中。但是Web Mining 技术还有很多缺陷和不足。我们还需要半结构化数据模型、Web 数据的过滤和转换等方面作进一步研究，才能进一步发挥Web Mining 的无限威力
④ 求问什么是数据挖掘
数据挖掘相关的10个问题 NO.1 Data Mining 和统计分析有什么不同？ 硬要去区分Data Mining和Statistics的差异其实是没有太大意义的。一般将之定义为Data Mining技术的CART、CHAID或模糊计算等等理论方法，也都是由统计学者根据统计理论所发展衍生，换另一个角度看，Data Mining有相当大的比重是由高等统计学中的多变量分析所支撑。但是为什么Data Mining的出现会引发各领域的广泛注意呢？主要原因在相较于传统统计分析而言，Data Mining有下列几项特性： 1.处理大量实际数据更强势，且无须太专业的统计背景去使用Data Mining的工具； 2.数据分析趋势为从大型数据库抓取所需数据并使用专属计算机分析软件，Data Mining的工具更符合企业需求； 3. 纯就理论的基础点来看，Data Mining和统计分析有应用上的差别，毕竟Data Mining目的是方便企业终端用户使用而非给统计学家检测用的。 NO.2 Data Warehousing 和 Data Mining 的关系为何？ 若将Data Warehousing（数据仓库）比喻作矿坑，Data Mining就是深入矿坑采矿的工作。毕竟Data Mining不是一种无中生有的魔术，也不是点石成金的炼金术，若没有够丰富完整的数据，是很难期待Data Mining能挖掘出什么有意义的信息的。 要将庞大的数据转换成为有用的信息，必须先有效率地收集信息。随着科技的进步，功能完善的数据库系统就成了最好的收集数据的工具。数据仓库，简单地说，就是搜集来自其它系统的有用数据，存放在一整合的储存区内。所以其实就是一个经过处理整合，且容量特别大的关系型数据库，用以储存决策支持系统（Design Support System）所需的数据，供决策支持或数据分析使用。从信息技术的角度来看，数据仓库的目标是在组织中，在正确的时间，将正确的数据交给正确的人。 许多人对于Data Warehousing和Data Mining时常混淆，不知如何分辨。其实，数据仓库是数据库技术的一个新主题，利用计算机系统帮助我们操作、计算和思考，让作业方式改变，决策方式也跟着改变。 数据仓库本身是一个非常大的数据库，它储存着由组织作业数据库中整合而来的数据，特别是指事务处理系统OLTP（On-Line Transactional Processing）所得来的数据。将这些整合过的数据置放于数据昂哭中，而公司的决策者则利用这些数据作决策；但是，这个转换及整合数据的过程，是建立一个数据仓库最大的挑战。因为将作业中的数据转换成有用的的策略性信息是整个数据仓库的重点。综上所述，数据仓库应该具有这些数据：整合性数据（integrated data）、详细和汇总性的数据(detailed and summarized data)、历史数据、解释数据的数据。从数据仓库挖掘出对决策有用的信息与知识，是建立数据仓库与使用Data Mining的最大目的，两者的本质与过程是两回事。换句话说，数据仓库应先行建立完成，Data mining才能有效率的进行，因为数据仓库本身所含数据是干净(不会有错误的数据参杂其中)、完备，且经过整合的。因此两者关系或许可解读为Data Mining是从巨大数据仓库中找出有用信息的一种过程与技术。 NO.3 OLAP 能不能代替 Data Mining？ 所谓OLAP（Online Analytical Process）意指由数据库所连结出来的在线分析处理程序。有些人会说：“我已经有OLAP的工具了，所以我不需要Data Mining。”事实上两者间是截然不同的，主要差异在于Data Mining用在产生假设，OLAP则用于查证假设。简单来说，OLAP是由使用者所主导，使用者先有一些假设，然后利用OLAP来查证假设是否成立；而Data Mining则是用来帮助使用者产生假设。所以在使用OLAP或其它Query的工具时，使用者是自己在做探索（Exploration），但Data Mining是用工具在帮助做探索。 举个例子来看，一市场分析师在为超市规划货品架柜摆设时，可能会先假设婴儿尿布和婴儿奶粉会是常被一起购买的产品，接着便可利用OLAP的工具去验证此假设是否为真，又成立的证据有多明显；但Data Mining则不然，执行Data Mining的人将庞大的结帐数据整理后，并不需要假设或期待可能的结果，透过Mining技术可找出存在于数据中的潜在规则，于是我们可能得到例如尿布和啤酒常被同时购买的意料外之发现，这是OLAP所做不到的。 Data Mining常能挖掘出超越归纳范围的关系，但OLAP仅能利用人工查询及可视化的报表来确认某些关系，是以Data Mining此种自动找出甚至不会被怀疑过的数据模型与关系的特性，事实上已超越了我们经验、教育、想象力的限制，OLAP可以和Data Mining互补，但这项特性是Data Mining无法被OLAP取代的。 NO.4 完整的Data Mining 包含哪些步骤？ 以下提供一个Data Mining的进行步骤以为参考： 1. 理解业务与理解数据； 2. 获取相关技术与知识； 3. 整合与查询数据； 4. 去除错误或不一致及不完整的数据； 5. 由数据选取样本先行试验； 6. 建立数据模型 7. 实际Data Mining的分析工作； 8. 测试与检验； 9. 找出假设并提出解释； 10. 持续应用于企业流程中。 由上述步骤可看出，Data Mining牵涉了大量的准备工作与规划过程，事实上许多专家皆认为整套Data Mining的进行有80﹪的时间精力是花费在数据前置作业阶段，其中包含数据的净化与格式转换甚或表格的连结。由此可知Data Mining只是信息挖掘过程中的一个步骤而已，在进行此步骤前还有许多的工作要先完成。 NO.5 Data Mining 运用了哪些理论与技术？ Data Mining是近年来数据库应用技术中相当热门的议题，看似神奇、听来时髦，实际上却也不是什么新东西，因其所用之诸如预测模型、数据分割，连结分析（Link Analysis）、偏差侦测（Deviation Detection）等，美国早在二次世界大战前就已应用运用在人口普查及军事等方面。 随着信息科技超乎想象的进展，许多新的计算机分析工具问世，例如关系型数据库、模糊计算理论、基因算法则以及类神经网络等，使得从数据中发掘宝藏成为一种系统性且可实行的程序。 一般而言，Data Mining的理论技术可分为传统技术与改良技术两支。 传统技术以统计分析为代表，统计学内所含序列统计、概率论、回归分析、类别数据分析等都属于传统数据挖掘技术，尤其 Data Mining 对象多为变量繁多且样本数庞大的数据，是以高等统计学里所含括之多变量分析中用来精简变量的因素分析（Factor Analysis）、用来分类的判别分析（Discriminant Analysis），以及用来区隔群体的分群分析（Cluster Analysis）等，在Data Mining过程中特别常用。 在改良技术方面，应用较普遍的有决策树理论（Decision Trees）、类神经网络（Neural Network）以及规则归纳法（Rules Inction）等。决策树是一种用树枝状展现数据受各变量的影响情形之预测模型，根据对目标变量产生之效应的不同而建构分类的规则，一般多运用在对客户数据的分析上，例如针对有回函与未回含的邮寄对象找出影响其分类结果的变量组合，常用分类方法为CART（Classification and Regression Trees）及CHAID（Chi-Square Automatic Interaction Detector）两种。 类神经网络是一种仿真人脑思考结构的数据分析模式，由输入之变量与数值中自我学习并根据学习经验所得之知识不断调整参数以期建构数据的型样(patterns)。类神经网络为非线性的设计，与传统回归分析相比，好处是在进行分析时无须限定模式，特别当数据变量间存有交互效应时可自动侦测出；缺点则在于其分析过程为一黑盒子，故常无法以可读之模型格式展现，每阶段的加权与转换亦不明确，是故类神经网络多利用于数据属于高度非线性且带有相当程度的变量交感效应时。 规则归纳法是知识发掘的领域中最常用的格式，这是一种由一连串的“如果…/则…（If / Then）”之逻辑规则对数据进行细分的技术，在实际运用时如何界定规则为有效是最大的问题，通常需先将数据中发生数太少的项目先剔除，以避免产生无意义的逻辑规则。 NO.6 Data Mining包含哪些主要功能？ Data Mining实际应用功能可分为三大类六分项来说明：Classification和Clustering属于分类区隔类；Regression和Time-series属于推算预测类；Association和Sequence则属于序列规则类。 Classification是根据一些变量的数值做计算，再依照结果作分类。（计算的结果最后会被分类为几个少数的离散数值，例如将一组数据分为 "可能会响应" 或是 "可能不会响应" 两类）。Classification常被用来处理如前所述之邮寄对象筛选的问题。我们会用一些根据历史经验已经分类好的数据来研究它们的特征，然后再根据这些特征对其他未经分类或是新的数据做预测。这些我们用来寻找特征的已分类数据可能是来自我们的现有的客户数据，或是将一个完整数据库做部份取样，再经由实际的运作来测试；譬如利用一个大型邮寄对象数据库的部份取样来建立一个Classification Model，再利用这个Model来对数据库的其它数据或是新的数据作分类预测。 Clustering用在将数据分群，其目的在于将群间的差异找出来，同时也将群内成员的相似性找出来。Clustering与Classification不同的是，在分析前并不知道会以何种方式或根据来分类。所以必须要配合专业领域知识来解读这些分群的意义。 Regression是使用一系列的现有数值来预测一个连续数值的可能值。若将范围扩大亦可利用Logistic Regression来预测类别变量，特别在广泛运用现代分析技术如类神经网络或决策树理论等分析工具，推估预测的模式已不在止于传统线性的局限，在预测的功能上大大增加了选择工具的弹性与应用范围的广度。 Time-Series Forecasting与Regression功能类似，只是它是用现有的数值来预测未来的数值。两者最大差异在于Time-Series所分析的数值都与时间有关。Time-Series Forecasting的工具可以处理有关时间的一些特性，譬如时间的周期性、阶层性、季节性以及其它的一些特别因素（如过去与未来的关连性）。 Association是要找出在某一事件或是数据中会同时出现的东西。举例而言，如果A是某一事件的一种选择，则B也出现在该事件中的机率有多少。（例如：如果顾客买了火腿和柳橙汁，那么这个顾客同时也会买牛奶的机率是85%。） Sequence Discovery与Association关系很密切，所不同的是Sequence Discovery中事件的相关是以时间因素来作区隔（例如：如果A股票在某一天上涨12%，而且当天股市加权指数下降，则B股票在两天之内上涨的机率是 68%）。 NO.7 Data Mining在各领域的应用情形为何？ Data Mining在各领域的应用非常广泛，只要该产业拥有具分析价值与需求的数据仓储或数据库，皆可利用Mining工具进行有目的的挖掘分析。一般较常见的应用案例多发生在零售业、直效行销界、制造业、财务金融保险、通讯业以及医疗服务等。 于销售数据中发掘顾客的消费习性，并可借由交易纪录找出顾客偏好的产品组合，其它包括找出流失顾客的特征与推出新产品的时机点等等都是零售业常见的实例；直效行销强调的分众概念与数据库行销方式在导入Data Mining的技术后，使直效行销的发展性更为强大，例如利用Data Mining分析顾客群之消费行为与交易纪录，结合基本数据，并依其对品牌价值等级的高低来区隔顾客，进而达到差异化行销的目的；制造业对Data Mining的需求多运用在品质控管方面，由制造过程中找出影响产品品质最重要的因素，以期提高作业流程的效率。 近来电话公司、信用卡公司、保险公司以及股票交易商对于诈欺行为的侦测（Fraud Detection）都很有兴趣，这些行业每年因为诈欺行为而造成的损失都非常可观，Data Mining可以从一些信用不良的客户数据中找出相似特征并预测可能的诈欺交易，达到减少损失的目的。财务金融业可以利用 Data Mining来分析市场动向，并预测个别公司的营运以及股价走向。Data Mining的另一个独特的用法是在医疗业，用来预测手术、用药、诊断、或是流程控制的效率。 NO.8 Web Mining 和Data Mining有什么不同？ 如果将Web视为CRM的一个新的Channel，则Web Mining便可单纯看做Data Mining应用在网络数据的泛称。 该如何测量一个网站是否成功？哪些内容、优惠、广告是人气最旺的？主要访客是哪些人？什么原因吸引他们前来？如何从堆积如山之大量由网络所得数据中找出让网站运作更有效率的操作因素？以上种种皆属Web Mining 分析之范畴。Web Mining 不仅只限于一般较为人所知的log file分析，除了计算网页浏览率以及访客人次外，举凡网络上的零售、财务服务、通讯服务、政府机关、医疗咨询、远距教学等等，只要由网络连结出的数据库够大够完整，所有Off-Line可进行的分析，Web Mining都可以做，甚或更可整合Off-Line及On-Line的数据库，实施更大规模的模型预测与推估，毕竟凭借网际网络的便利性与渗透力再配合网络行为的可追踪性与高互动特质，一对一行销的理念是最有机会在网络世界里完全落实的。 整体而言，Web Mining具有以下特性：1. 数据收集容易且不引人注意，所谓凡走过必留下痕迹，当访客进入网站后的一切浏览行为与历程都是可以立即被纪录的；2. 以交互式个人化服务为终极目标，除了因应不同访客呈现专属设计的网页之外，不同的访客也会有不同的服务；3. 可整合外部来源数据让分析功能发挥地更深更广，除了log file、cookies、会员填表数据、线上调查数据、线上交易数据等由网络直接取得的资源外，结合实体世界累积时间更久、范围更广的资源，将使分析的结果更准确也更深入。 利用Data Mining技术建立更深入的访客数据剖析，并赖以架构精准的预测模式，以期呈现真正智能型个人化的网络服务，是Web Mining努力的方向。 NO.9 Data Mining 在 CRM 中扮演的角色为何？ CRM（Customer Relationship Management）是近来引起热烈讨论与高度关切的议题，尤其在直效行销的崛起与网络的快速发展带动下，跟不上CRM的脚步如同跟不上时代。事实上CRM并不算新发明，奥美直效行销推动十数年的CO（Customer Ownership）就是现在大家谈的CRM—客户关系管理。 Data Mining应用在CRM的主要方式可对应在Gap Analysis之三个部分： 针对Acquisition Gap，可利用Customer Profiling找出客户的一些共同的特征，希望能借此深入了解客户，借由Cluster Analysis对客户进行分群后再透过Pattern Analysis预测哪些人可能成为我们的客户，以帮助行销人员找到正确的行销对象，进而降低成本，也提高行销的成功率。 针对Sales Gap，可利用Basket Analysis帮助了解客户的产品消费模式，找出哪些产品客户最容易一起购买，或是利用Sequence Discovery预测客户在买了某一样产品之后，在多久之内会买另一样产品等等。利用 Data Mining可以更有效的决定产品组合、产品推荐、进货量或库存量，甚或是在店里要如何摆设货品等，同时也可以用来评估促销活动的成效。 针对Retention Gap，可以由原客户后来却转成竞争对手的客户群中，分析其特征，再根据分析结果到现有客户数据中找出可能转向的客户，然后设计一些方法预防客户流失；更有系统的做法是借由Neural Network根据客户的消费行为与交易纪录对客户忠诚度进行Scoring的排序，如此则可区隔流失率的等级进而配合不同的策略。 CRM不是设一个（080）客服专线就算了，更不仅只是把一堆客户基本数据输入计算机就够，完整的CRM运作机制在相关的硬软件系统能健全的支持之前，有太多的数据准备工作与分析需要推动。
⑤ web usage mining是什么意思
Web Usage Mining就是对Server Logs、Error Logs、Cookie Logs等日志信息进行挖掘，
⑥ Web数据挖掘方向的学士学位论文题目怎么定
可以先找一些在知名的国际会议上发的论文好好看看，了解下相关领域最新的进展。如果已经有了大概的方向就更好找了，关键还是在自己有兴趣的前提下尽量找一个做起来有信心的课题。
举个例子吧，今年在马德里开的新一届www会议上的新论文dblp里都有索引，包括web data mining（链接在下面）^^
⑦ WEB数据挖掘怎么样
此书作为Web Data Mining的入门书籍还是不错的。此领域的各个方面都有谈到。唯一的问题可能在于如果一点基础（数学基础）的话，可能有一些公式推导会显得不得要领。......
⑧ 网络商务信息收集
我的更详细
一.网络商务信息收集的基本要求
网络商务信息收集是指在网络上对商务信息的寻找和调取工作。这是一种有目的、有步骤地从各个网络站点查找和获取信息的行为。一个完整的企业网络商务信息收集系统包括先进的网络检索设备、科学的信息收集方法和业务精通的网络信息检索员。
网络营销离不开信息。有效的网络商务信息必须能够保证源源不断地提供适合于网络营销决策的信息。网络营销对网络商务信息收集的要求是：及时、准确、适度和经济。
（1）及时
所谓及时，就是迅速、灵敏地反映销售市场发展各方面的最新动态。信息都是有时效性的，其价值与时间成反比。及时性要求信息流与物流尽可能同步。由于信息的识别、记录、传递、反馈都要花费一定的时间，因此，信息流与物流之间一般会存在一个时滞。尽可能地减少信息流滞后于物流的时间，提高时效性，是网络商务信息收集的主要目标之一。
（2）准确
所谓准确，是指信息应真实地反映客观现实，失真度小。在网络营销中，由于买卖双方不直接见面，准确的信息就显得尤为重要。准确的信息才可能导致正确的市场决策。信息失真，轻则会贻误商机，重则会造成重大的损失。信息的失真通常有三个方面的原因：一是信源提供的信息不完全、不准确；二是信息在编码、译码和传递过程中受到干扰；三是信宿（信箱）接受信息出现偏差。为减少网络商务信息的失真，必须在上述三个环节上提高管理水平。
（3）适度
适度是指提供信息要有针对性和目的性，不要无的放矢。没有信息，企业的营销活动就会完全处于一种盲目的状态。信息过多过滥也会使得营销人员无所适从。在当今的信息时代，信息量越来越大，范围越来越广，不同的管理层次又对信息提出不同的要求。在这种情况下，网络商务信息的收集必须目标明确，方法恰当，信息收集的范围和数量要适度。
（4）经济
这里的"经济"是指如何以最低的费用获得必要的信息。追求经济效益是一切经济活动的中心，也是网络商务信息收集的原则。许多人上网后，看到网上大量的可用信息，往往想把它们全部拷贝下来，但到月底才发现上网费用十分高昂。应当明确，我们没有力量，也不可能把网上所有的信息全部收集起来，信息的及时性、准确性和适度性都要求建立在经济性基础之上。此外，提高经济性，还要注意使所获得的信息发挥最大的效用。
二.网络商务信息收集的困难
因特网所涵盖的信息远远大于任何传统媒体所涵盖的信息。人们在因特网上遇到的最大的困难是如何快速、准确地从浩如烟海的信息资源中找到自己最需要的信息，这已成为困扰全球网络用户的最主要的问题。调查显示，80%被调查者认为互联网非常有用，但为了查找所需要的信息他们必须花费大量时间和金钱。很多人表示，在查询WWW时仍然需要专家的指导和帮助。对于我国用户来说，面临的问题比国外用户还要严重。我们除了和国外用户面临同样的问题之外，还有信道拥挤、检索费用高、远程检索国外信息系统反应速度慢、语言和文化障碍及大多数用户没有受过网络检索专业培训等多种困难。
在因特网上检索信息困难与下列几个因素有关：
（1）因特网信息资源多而分散
Web是一个巨大的资源宝库，目前页面数目已超过800亿，每小时还以惊人的速度增长。同时，因特网是一个全球性分布式网络结构，大量信息分别存储在世界各国的服务器和主机上。信息资源分布的分散性、远程通信的距离和信道的宽窄都直接影响了信息的传输速率。可是网络关键信息都是以半结构化或自由文本形式存在于大量的HTML网页中，很难直接加以利用，或者网络信息许多都是储存在深层的网络之中，在用户面前显示的可能只有它的1%。这些问题都给我们网络商务信息收集带来许多困难。
（2）网络资源缺乏有效的管理
和网络飞速发展形成鲜明对照的是至今还找不到一种方法对网络资源进行有效的管理。目前，对WWW的网页和网址的管理主要依靠两个方面的力量：一是图书馆和信息专业人员通过对Internet的信息进行筛选、组织和评论，编制超文本的主题目录，这些目录虽然质量很高，但编制速度无法适应Internet 的增长速度；二是计算机人员设计开发巡视软件和检索软件，对网页进行自动搜集、加工和标引。这种方式省时、省力，加工信息的速度快、范围广，可向用户提供关键词、词组或自然语言的检索。但由于计算机软件在人工智能方面与人脑的思维还有很大差距，在检索的准确性和相关性判断上质量不高。因此，现在很多检索软件都是将人工编制的主题目录和计算机检索软件提供的关键词检索结合起来，以充分发挥两者的优势。但由于Internet的范围和数量过大，没有建立统一的信息管理和组织机制，使得现有的任何一种检索工具都没有能力提供对网络信息的全面检索。
（3）网络信息鱼目混珠
因特网上的信息质量参差不齐，良莠不一。在西方国家，特别是美国，任何人都可以在网上不受限制地自由出版、发布自己的网页。在这种环境下，有价值的信息和无价值的信息，高质量的学术资料或商业信息与劣质、甚至违法的信息都混杂在一起。但目前，因特网上还没有人开发出一种强有力的工具对信息的质量进行选择和过滤。这样，用户会发现大量毫无用途的信息混杂在检索结果中，大大降低了搜索的准确性，浪费了用户的时间。
三.网络商务信息收集的解决的办法
面对上述困难，计算机专家和信息管理专家积极地探索和开发了一系列检索软件，并将其用于网络资源的管理和检索，取得了很大的进展。目前，全世界各个国家所开发的各类型检索软件已达几百种。我国及我国的香港、台湾地区以及新加坡都开发出了中文（GB或GB5）的检索软件，对推动网络信息的使用和传输做出了重要贡献。
（1）为了快速的、大量收集，可以利用信息采集工具来提高速度和准确性
利用信息采集工具来采集网络商务信息，可以大大的节省人工时间，并且让很多人工不可能完成的任务变为现实，现在流行的采集工具比如Knowlesys、Kapa、DB2等。在信息的时效性上面，信息采集工具也可以有很大的提高，我们平常搜集信息是在工作日，好多新发布的信息还要人工去判断，现在用采集工具可以自动的判断信息的发布时间，在第一时间里准确的把信息采集到，这是信息技术发展带来的主要便利之一。但是很多采集工具可能还面临着适用性和操作方面的问题，真正优秀的可能比较少，所以在这方面的研究要加强。
（2）为了得到更准确的内容，更加充分地利用这些检索软件，必须使用一定的技巧（如多个关键词和布尔检索技术）来缩小检索范围。
a.明确检索目标
要完成一个有效检索，首先应当确定要检索的是什么。在确定主题之后，应当列出一个与检索的信息有关的单词清单，以及一个应当排除的单词清单，下一步，应该考虑使用哪一个检索软件来获得更有效的检索结果。如果主题范围狭小，不妨简单地使用两三个关键词试一试。如果不能准确地确定检索的是什么或检索的主题范围很广，不妨使用Yahoo！等搜索站点的分类检索，尽可能缩小检索范围。许多检索网点允许只在Web中检索，或只在新闻组中检索，或只在某个特定地理区域检索。
b.合理使用各种符号改善检索过程
为了使用户更方便有效地检索内容，许多检索网点允许使用布尔操作符。布尔操作符提供了一种包括或排除关键字的方法，以及检索引擎如何翻译关键字的控制方法。大多数检索引擎提供了如何使用引擎的提示，以及如何在检索中输入布尔操作符的相应词法，但它们一般都支持基本的布尔操作：AND（与）、OR（或）和NOT（非）。检索时，通常不必输入大写的布尔操作符，但大写却能直观地分隔关键字和操作符。各个检索工具所使用的符号和格式也不尽相同，我们将在下面具体介绍一些常用检索工具时再加以说明。
索引检索会花费稍多一点的时间，但是，由于它可以从许多不同的来源中检索出结果，最终会得到好的结果，故而从总体上讲是节省了时间。当使用检索引擎时，最好看一下例子或帮助内容，如果使用了错误的词法，检索时间将会延长，并且可能得不到想要的结果。
⑨ 如何解决食品行业负面舆情问题
食品安全问题触目惊心
转基因油、双汇瘦肉精、染色馒头、毒黄瓜、塑化剂等事件，在网络舆情推起一次又一次的高潮，总结可以发现，这些事件都是食品相关的，并且绝大部分是负面的。
据从公安部获悉，今年以来，各地公安机关依法严打各种食品非法添加活动，破获食品非法添加等食品安全案件1100余起，抓获犯罪嫌疑人2000余名，特别是破获了一起国内影响最大的“瘦肉精”案件。2010年国家质检总局查处食品质量违法案件4.3万起，有5654家企业的6045张食品生产许可证被注销。
食品行业的舆情特点
针对食品舆情问题，着名的舆情监测企业深圳乐思软件高级舆情分析师雷先生说道：“结合乐思舆情监测系统监测到的相关食品事件的舆情专报，我们可以明显可以看到食品舆情有以下几个特点：
一是诚信缺失、道德滑坡，引发食品企业的舆情潮。比如瘦肉精事件，在很短时间内迅速传播，引起舆论广泛关注。
二是食品企业内部争端凸显，引发了负面舆情。在食品行业中，以家族化管理带来内部利益之争的案例不在少数，企业内部争端影响对外形象。比如真功夫集团的内讧等。
三是行业蜂窝连带关系突出，舆论施压加大职能部门的干预。以酒类为代表的副食品涨价问题曝光频繁，舆论对于此类事件的关注度在一定程度上促使政府职能部门多次约谈。而在职能部门出面干预后，绝大多数企业都能够暂缓涨价，从中可以看出食品行业内部的纽带关系。
四是企业品牌之争愈演愈烈，引发了舆论的升温。如王老吉商标所有权的争端。”
治理需挖掘深层次原因
食品行业舆情的爆发，最根本的原因肯定还是自身有问题。
现阶段，我国食品产业的突出特点是食品生产单位数量巨大，生产方式落后，存在小、散、乱现象，这是影响食品安全最深层次的原因之一。”国务院食品安全委员会办公室副司长于军分析说。
农业部产品质量安全监管局副局长把近年来出现的食品安全问题归为三类。
一类是农药残留超标问题。比如去年年初武汉市场检出的海南豇豆农药残留超标就是这类问题，这是农产品真正意义上的质量安全问题。
第二类是非法添加问题。“三聚氰胺”、“瘦肉精”事件属于这一类。无论是从种植养殖技术上看，还是从农产品的质量安全看，这些物质都不是农产品生产所必需的，纯属非法添加，纯属生产经营者违法行为，必须严厉打击。
第三类是生产安全和品质问题。前段时间连续出现的“乙烯利”、“膨大剂”问题属于这一类。这类问题与农产品质量安全关系不大，更多影响到的是田间地头农产品的生长、产量、品相和最后上市产品的品质口感，虽然发生的只是在个别地方和个别产品上，但经媒体报道后，公众很关心、很敏感。
问题的最终解决办法
据了解，今年3月至5月，全国人大常委会组织开展了《食品安全法》的执法检查工作。白克明表示，这次执法检查在全面了解和评估《食品安全法》实施情况的基础上，着重推动法律实施中一些重点和难点问题的解决。
食品生产是良心工程，企业要切实当好第一责任人。这么做不仅能让食品生产企业在特殊时期赢得社会信任，而且能增强公司核心竞争力，促进企业可持续发展。也只有这样，才能让那些食品负面舆情逐渐平息。
⑩ web scraping是什么意思
web scraping
网页；网页信息；网站检索
例句
1.Simple job for someone that is good at web scraping.
简单的工作，是有人在网上刮好。
2.The ideal candidate must have extensive and advanced knowledge on web scraping and data mining.
理想的候选人必须拥有广泛而先进的网页抓取和数据挖掘的知识。
3.As mentioned, you can access data in multiple ways. The two primary methods are web scraping and API use.
如前所述，可以用多种方法访问数据，其中两种主要方法是Web擦除和API使用。
4.The emerging business of web scraping provides some of the raw material for a rapidly expanding data economy.
网络信息搜集这种新兴业务为迅速扩张的数据经济提供了良好的支撑。
5.You should now have the tools that you need to start scraping data from web pages.
您目前应该已经拥有了从Web页面上擦除数据所需的工具。