A. 企业如何应用数据挖掘提高企业竞争力
企业应该将数据挖掘视为一大法宝，利用它将数据转化为商业智能，提高企业的核心竞争力。数据激增是当今社会的一大特性，如何有效的利用数据挖掘方法，从海量信息中提取出有用的模式和规律而不仅仅是“望洋兴叹”，已经成为人们迫切的需求。从投资的角度来看，如果对数据研究所支付的费用少于研究成果所带来的价值，数据挖掘就值得去做。正如修行的省悟过程一样，要将数据挖掘引入公司，并非只有一种途径。我们的最终目的是解决企业的业务问题，为企业提供更大的商机。想要将数据挖掘有效应用到企业主要有四个途径：1、购买成熟的模型；2、使用行业应用软件；3、聘请专家实施项目；4、量身定做开发自己的数据挖掘平台。
想要学习了解更多数据挖掘的信息，推荐CDA数据分析师课程。CDA数据分析师系列丛书满足了CDA数据分析师等级认证的学习需要，也兼顾了大数据的热点动态。学员掌握的技能知识可以快速转化为自身能够灵活应用的技能，在面对不同场景时自由发挥。点击预约免费试听课。
B. 数据挖掘的应用现状
数据挖掘的应用现状
数据挖掘所要处理的问题，就是在庞大的数据库中找出有价值的隐藏事件，并且加以分析，获取有意义的信息，归纳出有用的结构，作为企业进行决策的依据。其应用非常广泛，只要该产业有分析价值与需求的数据库，皆可利用数据挖掘（DM）技术进行有目的的发掘分析。
常见的应用案例多发生在零售业、财务金融保险、制造业、通讯及医疗服务行业：
1、零售商从顾客购买商品中发现一定的关系，提供打折购物券等，提高销售额；
2、保险公司通过数据挖掘建立预测模型，辨别出可能的欺诈行为，避免道德风险，减少成本，提高利润；
3、在制造业中，半导体的生产和测试中都产生大量的数据，就必须对这些数据进行分析，找出存在的问题，提高质量；
4、电子商务的作用越来越大，可以用数据挖掘对网站进行分析，识别用户的行为模式，保留客户，提供个性化服务，优化网站设计。
C. web挖掘怎么实现
截止到今天为止，我尚不知道有什么有价值的web挖掘系统存在，不过您可以参考检索引擎的挖掘算法，比如Apache的lucene等
http://lucene.apache.org/java/docs/index.html
-------------
并为您附录以下信息：
近年来，随着 Internet/Web技术的快速普及和迅猛发展，使各种信息可以以非常低的成本在网络上获得，由于Internet/WWW在全球互连互通，可以从中取得的数据量难以计算，而且Internet/WWW的发展趋势继续看好，特别是电子商务的蓬勃发展为网络应用提供了强大支持，如何在WWW这个全球最大的数据集合中发现有用信息无疑将成为数据挖掘研究的热点。
Web挖掘指使用数据挖掘技术在WWW数据中发现潜在的、有用的模式或信息。Web挖掘研究覆盖了多个研究领域，包括数据库技术、信息获取技术、统计学、人工智能中的机器学习和神经网络等。
2．Web挖掘流程
与传统数据和数据仓库相比，Web上的信息是非结构化或半结构化的、动态的、并且是容易造成混淆的，所以很难直接以Web网页上的数据进行数据挖掘，而必须经过必要的数据处理。典型Web挖掘的处理流程如下[3]：
1．查找资源：任务是从目标Web文档中得到数据，值得注意的是有时信息资源不仅限于在线Web文档，还包括电子邮件、电子文档、新闻组，或者网站的日志数据甚至是通过Web形成的交易数据库中的数据。
2．信息选择和预处理：任务是从取得的Web资源中剔除无用信息和将信息进行必要的整理。例如从Web文档中自动去除广告连接、去除多余格式标记、自动识别段落或者字段并将数据组织成规整的逻辑形式甚至是关系表。
3．模式发现：自动进行模式发现。可以在同一个站点内部或在多个站点之间进行。
4．模式分析：验证、解释上一步骤产生的模式。可以是机器自动完成，也可以是与分析人员进行交互来完成。
Web挖掘作为一个完整的技术体系，在进行挖掘之前的信息获得IR（Information Retrieval）和信息抽取IE(Information Extraction)相当重要。信息获得（IR）的目的在于找到相关Web文档，它只是把文档中的数据看成未经排序的词组的集合，而信息抽取(IE)的目的在于从文档中找到需要的数据项目，它对文档的结构合表达的含义感兴趣,它得一个重要任务就是对数据进行组织整理并适当建立索引。
信息获得（IR）和信息抽取(IE)技术的研究已近有很长时间，随着Web技术的发展，基于Web技术的IR、 IE得到了更多的重视。由于Web 数据量非常大，而且可能动态变化，用原来手工方式进行信息收集早已经力不从心，目前的研究方向是用自动化、半自动化的方法在Web上进行IR和IE。在 Web环境下既要处理非结构化文档，又要处理半结构化的数据，最近几年在这两方面都有相应的研究成果和具体应用，特别是在大型搜索引擎中得到了很好的应用。
3．Web挖掘分类及各自的研究现状及发展
根据对Web数据的感兴趣程度不同，Web挖掘一般可以分为三类：Web内容挖掘（Web Content mining）、 Web结构挖掘（ Web structure mining）、 Web 用法挖掘（Web usage Mining）
3．1、Web内容挖掘：
指从Web内容/数据/文档中发现有用信息，Web上的信息五花八门，传统的Internet由各种类型的服务和数据源组成，包括WWW、FTP、Telnet等，现在有更多的数据和端口可以使用，比如政府信息服务、数字图书馆、电子商务数据，以及其他各种通过 Web可以访问的数据库。Web内容挖掘的对象包括文本、图象、音频、视频、多媒体和其他各种类型的数据。其中针对无结构化文本进行的Web挖掘被归类到基于文本的知识发现（KDT）领域，也称文本数据挖掘或文本挖掘，是Web挖掘中比较重要的技术领域，也引起了许多研究者的关注。最近在Web多媒体数据挖掘方面的研究成为另一个热点。
Web内容挖掘一般从两个不同的观点来进行研究。从资源查找（IR）的观点来看，Web内容挖掘的任务是从用户的角度出发，怎样提高信息质量和帮助用户过滤信息。而从DB的角度讲Web内容挖掘的任务主要是试图对Web上的数据进行集成、建模，以支持对Web数据的复杂查询。
3．1．1从资源查找（Information Retrival）的观点挖掘非结构化文档：
非结构化文档主要指Web上的自由文本，包括小说、新闻等。在这方面的研究相对比较多一些，大部分研究都是建立在词汇袋（bag of words）或称向量表示法（vector representation）的基础上，这种方法将单个的词汇看成文档集合中的属性，只从统计的角度将词汇孤立地看待而忽略该词汇出现的位置和上下文环境。属性可以是布尔型，根据词汇是否在文档中出现而定，也可以有频度，即该词汇在文档中的出现频率。这种方法可以扩展为选择终结符、标点符号、不常用词汇的属性作为考察集合。词汇袋方法的一个弊端是自由文本中的数据丰富，词汇量非常大，处理起来很困难，为解决这个问题人们做了相应的研究，采取了不同技术，如信息增益，交叉熵、差异比等，其目的都是为了减少属性。另外，一个比较有意义的方法是潜在语义索引（Latent Semantic Indexing），它通过分析不同文档中相同主题的共享词汇，找到他们共同的根，用这个公共的根代替所有词汇，以此来减少维空间。例如： “informing”、“information”、“informer”、“informed”可以用他们的根“inform”来表示，这样可以减少属性集合的规模。
其他的属性表示法还有词汇在文档中的出现位置、层次关系、使用短语、使用术语、命名实体等，目前还没有研究表明一种表示法明显优于另一种。
用资源查找（Information Retrival）的观点挖掘半结构化文档：
与非结构化数据相比，Web上的半结构化文档挖掘指在加入了HTML、超连接等附加结构的信息上进行挖掘，其应用包括超连接文本的分类、聚类、发现文档之间的关系、提出半结构化文档中的模式和规则等。
3．1．2从数据库（Database）的观点挖掘非结构化文档：
数据库技术应用于Web挖掘主要是为了解决Web信息的管理和查询问题。这些问题可以分为三类：Web信息的建模和查询；信息抽取与集成；Web站点建构和重构。
从数据库的观点进行Web内容挖掘主要是试图建立Web站点的数据模型并加以集成，以支持复杂查询，而不止是简单的基于关键词的搜索。这要通过找到Web文档的模式、建立Web数据仓库或Web知识库或虚拟数据库来实现。相关研究主要是基于半结构化数据进行的。
数据库观点主要利用OEM(Object Exchange Model)模型将半结构化数据表示成标识图。OEM中的每个对象都有对象标识（OID）和值，值可以是原子类型，如整型、字符串型、gif、html 等，也可以是一个复合类型，以对象引用集合的形式表示。由于Web数据量非常庞大，从应用的角度考虑，很多研究只处理办结构化数据的一个常用自集。一些有意义的应用是建立多层数据库（MLDB），每一层是它下面层次的概化，这样就可以进行一些特殊的查询和信息处理。对于在半结构化数据上的查询语言研究也得到了人们的重视并做了专题研究。
由于在数据库观点下数据的表示方法比较特殊，其中包含了关系层次和图形化的数据，所以大部分建立在扁平数据集合之上的数据挖掘方法不能直接使用，目前已经有人针对多层数据库挖掘算法进行研究。
3．2、Web结构挖掘：
Web结构挖掘的对象是Web本身的超连接，即对Web文档的结构进行挖掘。对于给定的Web文档集合，应该能够通过算法发现他们之间连接情况的有用信息，文档之间的超连接反映了文档之间的包含、引用或者从属关系，引用文档对被引用文档的说明往往更客观、更概括、更准确。
Web结构挖掘在一定程度上得益于社会网络和引用分析的研究。把网页之间的关系分为incoming连接和 outgoing连接，运用引用分析方法找到同一网站内部以及不同网站之间的连接关系。在Web结构挖掘领域最着名的算法是HITS算法和 PageRank算法。他们的共同点是使用一定方法计算Web页面之间超连接的质量，从而得到页面的权重。着名的Clever和Google搜索引擎就采用了该类算法。
此外，Web结构挖掘另一个尝试是在Web数据仓库环境下的挖掘，包括通过检查同一台服务器上的本地连接衡量 Web结构挖掘Web站点的完全性，在不同的Web数据仓库中检查副本以帮助定位镜像站点，通过发现针对某一特定领域超连接的层次属性去探索信息流动如何影响Web站点的设计。
3．3、Web用法挖掘（Web usage Mining）：
即Web使用记录挖掘，在新兴的电子商务领域有重要意义，它通过挖掘相关的Web日志记录，来发现用户访问 Web页面的模式，通过分析日志记录中的规律，可以识别用户的忠实度、喜好、满意度，可以发现潜在用户，增强站点的服务竞争力。Web使用记录数据除了服务器的日志记录外还包括代理服务器日志、浏览器端日志、注册信息、用户会话信息、交易信息、Cookie中的信息、用户查询、鼠标点击流等一切用户与站点之间可能的交互记录。可见Web使用记录的数据量是非常巨大的，而且数据类型也相当丰富。根据对数据源的不同处理方法，Web 用法挖掘可以分为两类，一类是将Web使用记录的数据转换并传递进传统的关系表里，再使用数据挖掘算法对关系表中的数据进行常规挖掘；另一类是将Web 使用记录的数据直接预处理再进行挖掘。Web 用法挖掘中的一个有趣的问题是在多个用户使用同一个代理服务器的环境下如何标识某个用户，如何识别属于该用户的会话和使用记录，这个问题看起来不大，但却在很大程度上影响着挖掘质量，所以有人专门在这方面进行了研究。通常来讲，经典的数据挖掘算法都可以直接用到Web 用法挖掘上来，但为了提高挖掘质量，研究人员在扩展算法上进行了努力，包括复合关联规则算法、改进的序列发现算法等。
在[4]中，根据数据来源、数据类型、数据集合中的用户数量、数据集合中的服务器数量等将Web 用法挖掘分为五类：
●个性挖掘：针对单个用户的使用记录对该用户进行建模，结合该用户基本信息分析他的使用习惯、个人喜好，目的是在电子商务环境下为该用户提供与众不同的个性化服务。
●系统改进：Web服务（数据库、网络等）的性能和其他服务质量是衡量用户满意度的关键指标，Web 用法挖掘可以通过用户的拥塞记录发现站点的性能瓶颈，以提示站点管理者改进Web缓存策略、网络传输策略、流量负载平衡机制和数据的分布策略。此外，可以通过分析网络的非法入侵数据找到系统弱点，提高站点安全性，这在电子商务环境下尤为重要。
●站点修改：站点的结构和内容是吸引用户的关键。Web 用法挖掘通过挖掘用户的行为记录和反馈情况为站点设计者提供改进的依，比如页面连接情况应如何组织、那些页面应能够直接访问等。
●智能商务：用户怎样使用Web站点的信息无疑是电子商务销售商关心的重点，用户一次访问的周期可分为被吸引、驻留、购买和离开四个步骤，Web用法挖掘可以通过分析用户点击流等Web日志信息挖掘用户行为的动机，以帮助销售商合理安排销售策略。
●Web特征描述：这类研究跟关注这样通过用户对站点的访问情况统计各个用户在页面上的交互情况，对用户访问情况进行特征描述。
4．结束语
尽管Web挖掘的形式和研究方向层出不穷，但我认为随着电子商务的兴起和迅猛发展，未来Web挖掘的一个重要应用方向将是电子商务系统。而与电子商务关系最为密切的是用法挖掘（Usage Mining），也就是说在这个领域将会持续得到更多的重视。另外，在搜索引擎的研究方面，结构挖掘的研究已经相对成熟，基于文本的内容挖掘也已经有许多研究，下一步将会有更多的研究者把多媒体挖掘最为研究方向。
D. web数据挖掘技术在电子商务中有哪些应用
数据挖掘在电子商务中主要应用于数据分析，区别于传统的数据库，只进行简单的查询功能，数据挖掘对过往数据进行分析得到在电子商务所需要的数据
E. html技术与web技术在电子商务中所起的作用是什么
最佳答案检举 隐藏 计算机技术对电子商务的作用
电子商务是指通过互联网完成的商务交易。作为依托互联网发展起来的商业运作模式,与传统商业比较给人们曾带来过很多欣喜，但是随着电子商务交易的不断发展，暴露出了一些技术问题，如EDI（Electronic Data Interchange）中的问题等，使电子商务一度陷入举步为艰的地步。
一、EDI在电子商务中的应用
联合国EDIFACT培训指南认为：“EDI指的是在最少的人工干预下，在贸易伙伴的计算机应用系统之间的标准格式数据的交换”。 EDI主要由UN/EDIFACT的基础标准体系和开放式EDI基础标准两部分组成。它是EDI的核心标准体系。EDI主要是为完成企业间的数据交换而产生和应用的。虽然EDI的应用使企业之间大大减少了在交易中的时间、效率上的开销，但是传统的EDI却仍然存在不少的缺陷：
1.实现EDI的成本过于昂贵
EDI通信方式有两种：一种是在贸易伙伴之间建立专用网；另一种是增值网络(VAN)方式，建立专用网的费用是不言而喻的，而VAN是一套私有网络，它的租用、维护费用也是很昂贵的。对于中小型企业来说，这两种方式的费用都是很难承受的。有数据显示：全球使用EDI进行电子商务的企业98%来自世界前1000强。这样也就限制了中小型企业加入到电子商务行列中的步伐，并有碍于电子商务全球化的进程。
2.EDI标准结构的灵活性较差
EDI使用的是一套预先定义好的报文标准，在与其他企业集成时不能随业务环境的变化而进行自动的调整。这些不利于企业业务的发展。
3.EDI不能通过构建Web Service来跨越多个应用程序和供应商进行通信
在Web Service持续发展的今天，越来越多企业认识到了Web Service的巨大潜力,开始把它运用到他们的组织中，可是原有的EDI技术模式使企业无法利用EDI去实现这一目标。
4.EDI难以实现电子商务中的数据挖掘
EDI主要通过单证传递来完成企业之间信息交流，现在的电子商务已经不仅仅是停留在数据的传递上，而且要通过Web收集大量的、各种商业数据来进行数据挖掘，从中得到有利于企业战略决策的信息。
二、XML在电子商务中的应用
1.XML的简介
XML（eXtensible Markup Language）是W3C于1998年2月发布的一种标准，它是SGML的简化子集，将SGML的功能和HTML的易用性结合到Web的应用中，以一种开放的自我描述方式定义数据结构，在描述数据内容的同时能突出对结构的描述，从而体现出数据之间的关系。
2.XML的特点
(1)XML成为不同格式数据向标准化格式数据转换的“桥梁”。由于处于Web中的电子商务，其中涉及的很多数据源都是异构的，XML在各种数据源之间建立了一个数据格式的中间标准，利用XML中的XSLT技术实现了不同格式的数据与XML文档之间的双向转换与传输，并方便地进行Web应用。
(2)文档管理功能。XML中的XLL（eXtensible Linkage Language）技术是表示XML文档之间的链接方法，XLL与HTML中的超链接相似，但功能更强，例如可以链接文档的特定部分。此方法使文档更易于检索等，也可以使很多公司从海洋一样的文书工作中解脱出来。
(3)XML可以成为信息存储和管理的方式。XML可以很轻松地完成与很多类型的企业数据库的交互操作，例如从SQL查询中检索XML数据以及修改XML数据记录。这就使XML如同传统的数据库技术一样，易于操作。
(4)XML可以完成企业之间业务数据的传输。各种业务数据是以XML格式在企业之间传输。与EDI相比，不仅可以完成从一种票据格式到另一种票据格式的转换，还有多种企业需要的基于票据各种操作，而且过程简单、快捷，成本低廉。
(5)可以完成基于Web的数据挖掘。主要分为数据挖掘和挖掘表示两个部分。数据挖掘就是利用合适的挖掘算法和已有的知识库知识对统一的XML 文档进行数据提取,可以采用诸如特征抽取、关联分析、属性分类、聚类分析等方法实现。挖掘表示是指对挖掘出的Web 数据经过模式评估和解释用适当的形式表现出来,例如图形，以便于用户理解和使用。
3.XML的缺点
虽然XML很好地解决了EDI技术中的一些缺陷，并且XML已经成为Internet上数据交换事实上的标准。主要基于它的优点：扩展性、自描述性、系统无关性、健壮性、形式与内容分离等。但通过实践证明，它仍然不能构建Web服务来跨越多个应用程序和供应商进行通信。这也就促成了ebXML的诞生。
EML-EDI在电子商务中的应用：如果基于XML技术的诸多优点，而直接用它来完全替代原来的EDI，显然会给企业带来多方面的不利，比如：资金上、技术上等的影响。因此，产生了过度技术模式——XML-EDI。在EML-EDI的模式中，为了保护原有投资，大企业之间依旧采用原有的EDI系统，采用EDI/VAN交换数据。
ebXML在电子商务中的应用:ebXML是由UN/CEFACT和OASIS 两家组织发起和制定的一个规范集, 这些规范共同实现了模块化电子商务框架。ebXML的目标是实现跨行业的B2B、B2C商业贸易，甚至全球性的电子商务市场,使得不同规模和不同地区的企业可以通过交换基于XML格式的消息来合作和进行商业活动。
ebXML体系架构由许多部分组成,其主要有:
（1）消息服务:消息组成了商业伙伴间的交易对话,是商务过程的基础。ebXML可以创建各种类型的消息,对各种消息提供支持,以确保安全可靠的交换有效负载。
(2)注册库或知识库:是ebXML 体系结构的核心,用来注册和存储商业流程和商业信息模型等,它使得ebXML工作所需要的各种数据能够统一存放,以便复用和保持一致性。
(3)贸易伙伴信息:描述贸易伙伴参与贸易活动所必须的信息,也是双方进行电子商务的技术细节,包含贸易伙伴个人信息CPP 和CPP 基础上双方协商出来的CPA。
(4)商务流程规范:ebXML是建立在商务流程建模的基础上,ebXML规范体系集中包含着定义描述商务流程和信息模型的标准机制BPSS（Business Process Specification Schema）,是企业双方进行电子商务的商业细节。当企业要进行电子商务并决定采用ebXML 框架时,首先通过在注册库中查找,找到符合自己条件的商业模型,并下载ebXML的技术规范；然后按照该规范在本地系统上构建ebXML的应用实现,并创建一个合作伙伴概要CPP来描述企业系统的实现细节和提供的功能信息服务,可以加入新的商务流程,也可以只是引用已有的流程,随后将其注册到注册中心。这样其他采用ebXML标准的企业就可以通过注册库查找该企业的CPP,双方系统在CPP的基础上自动协商,最终达成CPA等交互协议约定,以后双方便在此基础上进行交易。
电子商务经历了以上三种主要的、一种过度的计算机技术的发展，逐步走向完善。另外，从中我们可以看到，ebXML的开放性以及接纳现有标准和方法的做法,使得它很易于被人们接受 ,而且ebXML 允许商家以不同的方式进行商业活动,因此具有更广泛的市场和应用前景。
参考文献：
[1]宋沛军:电子商务概论[M].西安：西安电子科技大学出版社，2005
[2]陈尧妃倪应华:基于XML个性化数据挖掘框架设计[J].现代电子技术，2007 No.2
[3]沈世铭尹绍宏:基于XML在异构数据之间转换的研究[J].仪器仪表用户， 2007 No.1
[4]ebXML overview,http://ebXML.xml.org/overview.
[5]郝萍饶若楠:一种基于MDA 的ebXML[J].计算机应用与软件,2005 No.3
F. 数据挖掘的应用领域有哪些
数据挖掘的应用领域非常广泛，目前来说在零售业、制造业、财务金融保险、通讯及医疗服务、电信、零售、农业、电力、生物、天体、化工等方面，未来将会应用在更多的领域之中。
近年来，数据挖掘引起了信息产业界的极大关注，一般只要该产业有分析价值需求的数据库，就可以利用数据挖掘工具进行有目的的对比分析，再将这些数据转换成有用的信息和知识。获取的信息和知识可以广泛用于各种应用，包括市场分析、生产控制、医疗服务、工程设计和科学探索等。比如某商场从顾客购买商品中发现一定的关联规则，可以提供打折、购物券等促销手段，提高销售额；某医院内部医疗器具的管理、病人档案资料整理等工作，引进数据挖掘技术，能够深入分析疾病之间的联系及规律，帮助医生诊断和治疗，以达到诊断事半功倍的目标，且为保障人类健康等提供强大的技术支持。诸如此类的应用，还有很多。
了解数据挖掘的应用领域，推荐上CDA数据分析师的课程。课程内容兼顾培养解决数据挖掘流程问题的横向能力以及解决数据挖掘算法问题的纵向能力。要求学生具备从数据治理根源出发的思维，通过数字化工作方法来探查业务问题，通过近因分析、宏观根因分析等手段，再选择业务流程优化工具还是算法工具，而非“遇到问题调算法包”。真正理解商业思维，项目思维，能够遇到问题解决问题。点击预约免费试听课。
G. 举例说明数据挖掘技术可以应用于市场营销做什么
数据挖掘技术应用于企业市场营销，是以市场营销学生物市场细分及消费者行为分析原理为基础，通过加工、处理、分析涉及消费者消费行为的大量信息，确定特定消费群体或个体的兴趣、消费习惯、消费倾向和消费需求，以及相关环境发生变化可能性几率，就可以推断出相应消费群体或个体下一步的消费行为，然后以此为基础，对所识别出来的消费群体进行特定内容定向营销，这与传统的不区分消费者对象特征的大规模营销手段相比，不仅大大节省了营销成本，提高了营销效果，而且能防范营销风险，从而为企业带来更多的利润。在市场营销中利用数据挖掘技术可以解决的问题有：识别有价值的顾客及他们的性格特征，预测消费者的购买行为，顾客流失分析，评估广告效果，评估及划分信用风险，评估潜在消费者交叉销售和向上销售直接目标销售，欺诈发现关于环境变化的状态参数及可能性概率。
想要学习了解更多数据挖掘的信息，推荐CDA数据分析师课程。CDA认证考试由经管之家主办，该课程要求学生根据业务场景来综合判断，洞察数据规律，使用正确的数据清洗与特征工程方法，综合使用统计分析方法、统计模型、运筹学、机器学习、文本挖掘算法，而非单一的机器学习算法。点击预约免费试听课。
H. 国内的数据挖掘，大数据应用的案例有哪些
国内数据挖掘，大数据运用主要有以下几类：
1、电子商务的推荐系统。基本都是基于协同过滤的推荐系统：背后的算法是基于内容、基于用户行为、基于产品等。
2、另外一个可以就是对网络用户行为分析。来分析用户在网站的点击行为。从而为产品设计、改进产品提供指导。
3、当然目前很流行就是文本挖掘，因为以前都是点击流数据，对于用户评论的文字信息，提炼的很少，主要用Google、垂直搜索引擎会用到排序之类的。
如果说有一家科技公司准确定义了“大数据”概念的话，那一定是谷歌。根据搜索研究公司comScore的数据，仅2012年3月一个月的时间，谷歌处理的搜索词条数量就高达122亿条。谷歌的体量和规模，使它拥有比其他大多数企业更多的应用大数据的途径。
想要了解更多关于大数据挖掘的相关内容，推荐CDA数据分析师课程。课程内容兼顾培养解决数据挖掘流程问题的横向能力以及解决数据挖掘算法问题的纵向能力。真正理解商业思维，项目思维，能够遇到问题解决问题；要求学生在使用算法解决微观根因分析、预测分析的问题上，根据业务场景来综合判断，洞察数据规律，使用正确的数据清洗与特征工程方法，综合使用统计分析方法、统计模型、运筹学、机器学习、文本挖掘算法，而非单一的机器学习算法。点击预约免费试听课
I. 目前，数据挖掘技术在我们身边的具体应用有哪些大家可以在线交流交流......
数据挖掘系统的其它应用还有：
♦ 在对客户进行分析方面：银行信用卡和保险行业，利用数据挖掘将市场分
成有意义的群组和部门，从而协助市场经理和业务执行人员更好地集中于
有促进作用的活动和设计新的市场运动。
♦ 在客户关系管理方面： 数据挖掘能找出产品使用模式或协助了解客户行为，
从而可以改进通道管理 （如银行分支和6 等） 。 又如正确时间销售就是基于顾客生活周期模型来实施的。
♦ 在零售业方面：数据挖掘用于顾客购货篮的分析可以协助货架布置，促销活动时间，促销商品组合以及了解滞销和畅销商品状况等商业活动。通过
对一种厂家商品在各连锁店的市场共享分析，客户统计以及历史状况的分
析，可以确定销售和广告业务的有效性。
♦ 在产品质量保证方面：数据挖掘协助管理大数量变量之间的相互作用，并
能自动发现出某些不正常的数据分布，揭示制造和装配操作过程中变化情
况和各种因素，从而协助质量工程师很快地注意到问题发生范围和采取改
正措施。
♦ 在远程通讯方面：基于数据挖掘的分析协助组织策略变更以适应外部世界
的变化，确定市场变化模式以指导销售计划。在网络容量利用方面，数据
挖掘能提供对客户聚集服务使用的结构和模式的了解，从而指导容量计划
人员对网络设施作出最佳投资决策。
♦ 在各个企事业部门，数据挖掘在假伪检测及险灾评估、失误回避、资源分
配、市场销售预测广告投资等很多方面，起着很重要作用。例如在化学及
制药行业，将数据挖掘用于巨量生物信息可以发现新的有用化学成分；在遥感领域针对每天从卫星上及其它方面来的巨额数据，对气象预报、臭氧
层监测等能起很大作用。
J. 如何通过用数据挖掘技术来分析Web网站日志
1、数据预处理阶段根据挖掘的目的，对原始Web日志文件中的数据进行提取、分解、合并、最后转换为用户会话文件。该阶段是Web访问信息挖掘最关键的阶段，数据预处理包括:关于用户访问信息的预处理、关于内容和结构的预处理。
2、会话识别阶段该阶段本是属于数据预处理阶段中的一部分，这里将其划分成单独的一个阶段，是因为把用户会话文件划分成的一组组用户会话序列将直接用于挖掘算法，它的精准度直接决定了挖掘结果的好坏，是挖掘过程中最重要的阶段。
3、模式发现阶段模式发现是运用各种方法和技术从Web日志数据中挖掘和发现用户使用Web的各种潜在的规律和模式。模式发现使用的算法和方法不仅仅来自数据挖掘领域，还包括机器学习、统计学和模式识别等其他专业领域。
模式发现的主要技术有：统计分析（statistical analysis）、关联规则（association rules）、聚类（clustering）、归类（classification）、序列模式（sequential patterns）、依赖关系（dependency）。
（1）统计分析（statistical analysis）：常用的统计技术有：贝叶斯定理、预测回归、对数回归、对数-线性回归等。可用来分析网页的访问频率，网页的访问时间、访问路径。可用于系统性能分析、发现安全漏洞、为网站修改、市场决策提供支持。
（2）关联规则（association rules）：关联规则是最基本的挖掘技术，同时也是WUM最常用的方法。在WUM中常常用在被访问的网页中，这有利于优化网站组织、网站设计者、网站内容管理者和市场分析，通过市场分析可以知道哪些商品被频繁购买，哪些顾客是潜在顾客。
（3）聚类（clustering）：聚类技术是在海量数据中寻找彼此相似对象组，这些数据基于距离函数求出对象组之间的相似度。在WUM中可以把具有相似模式的用户分成组，可以用于电子商务中市场分片和为用户提供个性化服务。
（4）归类（classification）：归类技术主要用途是将用户资料归入某一特定类中，它与机器学习关系很紧密。可以用的技术有：决策树（decision tree）、K-最近邻居、Naïve Bayesian classifiers、支持向量机（support vector machines）。
（5）序列模式（sequential patterns）：给定一个由不同序列组成的集合，其中，每个序列由不同的元素按顺序有序排列，每个元素由不同项目组成，同时给定一个用户指定的最小支持度阈值，序列模式挖掘就是找出所有的频繁子序列，即子序列在序列集中的出现频率不低于用户指定的最小支持度阈值。
（6）依赖关系（dependency）：一个依赖关系存在于两个元素之间，如果一个元素A的值可以推出另一个元素B的值，则B依赖于A。
4、模式分析阶段模式分析是Web使用挖掘最后一步，主要目的是过滤模式发现阶段产生的规则和模式，去除那些无用的模式，并把发现的模式通过一定的方法直观的表现出来。由于Web使用挖掘在大多数情况下属于无偏向学习，有可能挖掘出所有的模式和规则，所以不能排除其中有些模式是常识性的，普通的或最终用户不感兴趣的，故必须采用模式分析的方法使得挖掘出来的规则和知识具有可读性和最终可理解性。常见的模式分析方法有图形和可视化技术、数据库查询机制、数理统计和可用性分析等。