A. 简述在进行web挖掘时如何处理用户的私有数据
摘要 您的问题我已经收到了哈，查询需要点时间，请耐心等待一下哦
B. web挖掘怎么实现
截止到今天为止，我尚不知道有什么有价值的web挖掘系统存在，不过您可以参考检索引擎的挖掘算法，比如Apache的lucene等
http://lucene.apache.org/java/docs/index.html
-------------
并为您附录以下信息：
近年来，随着 Internet/Web技术的快速普及和迅猛发展，使各种信息可以以非常低的成本在网络上获得，由于Internet/WWW在全球互连互通，可以从中取得的数据量难以计算，而且Internet/WWW的发展趋势继续看好，特别是电子商务的蓬勃发展为网络应用提供了强大支持，如何在WWW这个全球最大的数据集合中发现有用信息无疑将成为数据挖掘研究的热点。
Web挖掘指使用数据挖掘技术在WWW数据中发现潜在的、有用的模式或信息。Web挖掘研究覆盖了多个研究领域，包括数据库技术、信息获取技术、统计学、人工智能中的机器学习和神经网络等。
2．Web挖掘流程
与传统数据和数据仓库相比，Web上的信息是非结构化或半结构化的、动态的、并且是容易造成混淆的，所以很难直接以Web网页上的数据进行数据挖掘，而必须经过必要的数据处理。典型Web挖掘的处理流程如下[3]：
1．查找资源：任务是从目标Web文档中得到数据，值得注意的是有时信息资源不仅限于在线Web文档，还包括电子邮件、电子文档、新闻组，或者网站的日志数据甚至是通过Web形成的交易数据库中的数据。
2．信息选择和预处理：任务是从取得的Web资源中剔除无用信息和将信息进行必要的整理。例如从Web文档中自动去除广告连接、去除多余格式标记、自动识别段落或者字段并将数据组织成规整的逻辑形式甚至是关系表。
3．模式发现：自动进行模式发现。可以在同一个站点内部或在多个站点之间进行。
4．模式分析：验证、解释上一步骤产生的模式。可以是机器自动完成，也可以是与分析人员进行交互来完成。
Web挖掘作为一个完整的技术体系，在进行挖掘之前的信息获得IR（Information Retrieval）和信息抽取IE(Information Extraction)相当重要。信息获得（IR）的目的在于找到相关Web文档，它只是把文档中的数据看成未经排序的词组的集合，而信息抽取(IE)的目的在于从文档中找到需要的数据项目，它对文档的结构合表达的含义感兴趣,它得一个重要任务就是对数据进行组织整理并适当建立索引。
信息获得（IR）和信息抽取(IE)技术的研究已近有很长时间，随着Web技术的发展，基于Web技术的IR、 IE得到了更多的重视。由于Web 数据量非常大，而且可能动态变化，用原来手工方式进行信息收集早已经力不从心，目前的研究方向是用自动化、半自动化的方法在Web上进行IR和IE。在 Web环境下既要处理非结构化文档，又要处理半结构化的数据，最近几年在这两方面都有相应的研究成果和具体应用，特别是在大型搜索引擎中得到了很好的应用。
3．Web挖掘分类及各自的研究现状及发展
根据对Web数据的感兴趣程度不同，Web挖掘一般可以分为三类：Web内容挖掘（Web Content mining）、 Web结构挖掘（ Web structure mining）、 Web 用法挖掘（Web usage Mining）
3．1、Web内容挖掘：
指从Web内容/数据/文档中发现有用信息，Web上的信息五花八门，传统的Internet由各种类型的服务和数据源组成，包括WWW、FTP、Telnet等，现在有更多的数据和端口可以使用，比如政府信息服务、数字图书馆、电子商务数据，以及其他各种通过 Web可以访问的数据库。Web内容挖掘的对象包括文本、图象、音频、视频、多媒体和其他各种类型的数据。其中针对无结构化文本进行的Web挖掘被归类到基于文本的知识发现（KDT）领域，也称文本数据挖掘或文本挖掘，是Web挖掘中比较重要的技术领域，也引起了许多研究者的关注。最近在Web多媒体数据挖掘方面的研究成为另一个热点。
Web内容挖掘一般从两个不同的观点来进行研究。从资源查找（IR）的观点来看，Web内容挖掘的任务是从用户的角度出发，怎样提高信息质量和帮助用户过滤信息。而从DB的角度讲Web内容挖掘的任务主要是试图对Web上的数据进行集成、建模，以支持对Web数据的复杂查询。
3．1．1从资源查找（Information Retrival）的观点挖掘非结构化文档：
非结构化文档主要指Web上的自由文本，包括小说、新闻等。在这方面的研究相对比较多一些，大部分研究都是建立在词汇袋（bag of words）或称向量表示法（vector representation）的基础上，这种方法将单个的词汇看成文档集合中的属性，只从统计的角度将词汇孤立地看待而忽略该词汇出现的位置和上下文环境。属性可以是布尔型，根据词汇是否在文档中出现而定，也可以有频度，即该词汇在文档中的出现频率。这种方法可以扩展为选择终结符、标点符号、不常用词汇的属性作为考察集合。词汇袋方法的一个弊端是自由文本中的数据丰富，词汇量非常大，处理起来很困难，为解决这个问题人们做了相应的研究，采取了不同技术，如信息增益，交叉熵、差异比等，其目的都是为了减少属性。另外，一个比较有意义的方法是潜在语义索引（Latent Semantic Indexing），它通过分析不同文档中相同主题的共享词汇，找到他们共同的根，用这个公共的根代替所有词汇，以此来减少维空间。例如： “informing”、“information”、“informer”、“informed”可以用他们的根“inform”来表示，这样可以减少属性集合的规模。
其他的属性表示法还有词汇在文档中的出现位置、层次关系、使用短语、使用术语、命名实体等，目前还没有研究表明一种表示法明显优于另一种。
用资源查找（Information Retrival）的观点挖掘半结构化文档：
与非结构化数据相比，Web上的半结构化文档挖掘指在加入了HTML、超连接等附加结构的信息上进行挖掘，其应用包括超连接文本的分类、聚类、发现文档之间的关系、提出半结构化文档中的模式和规则等。
3．1．2从数据库（Database）的观点挖掘非结构化文档：
数据库技术应用于Web挖掘主要是为了解决Web信息的管理和查询问题。这些问题可以分为三类：Web信息的建模和查询；信息抽取与集成；Web站点建构和重构。
从数据库的观点进行Web内容挖掘主要是试图建立Web站点的数据模型并加以集成，以支持复杂查询，而不止是简单的基于关键词的搜索。这要通过找到Web文档的模式、建立Web数据仓库或Web知识库或虚拟数据库来实现。相关研究主要是基于半结构化数据进行的。
数据库观点主要利用OEM(Object Exchange Model)模型将半结构化数据表示成标识图。OEM中的每个对象都有对象标识（OID）和值，值可以是原子类型，如整型、字符串型、gif、html 等，也可以是一个复合类型，以对象引用集合的形式表示。由于Web数据量非常庞大，从应用的角度考虑，很多研究只处理办结构化数据的一个常用自集。一些有意义的应用是建立多层数据库（MLDB），每一层是它下面层次的概化，这样就可以进行一些特殊的查询和信息处理。对于在半结构化数据上的查询语言研究也得到了人们的重视并做了专题研究。
由于在数据库观点下数据的表示方法比较特殊，其中包含了关系层次和图形化的数据，所以大部分建立在扁平数据集合之上的数据挖掘方法不能直接使用，目前已经有人针对多层数据库挖掘算法进行研究。
3．2、Web结构挖掘：
Web结构挖掘的对象是Web本身的超连接，即对Web文档的结构进行挖掘。对于给定的Web文档集合，应该能够通过算法发现他们之间连接情况的有用信息，文档之间的超连接反映了文档之间的包含、引用或者从属关系，引用文档对被引用文档的说明往往更客观、更概括、更准确。
Web结构挖掘在一定程度上得益于社会网络和引用分析的研究。把网页之间的关系分为incoming连接和 outgoing连接，运用引用分析方法找到同一网站内部以及不同网站之间的连接关系。在Web结构挖掘领域最着名的算法是HITS算法和 PageRank算法。他们的共同点是使用一定方法计算Web页面之间超连接的质量，从而得到页面的权重。着名的Clever和Google搜索引擎就采用了该类算法。
此外，Web结构挖掘另一个尝试是在Web数据仓库环境下的挖掘，包括通过检查同一台服务器上的本地连接衡量 Web结构挖掘Web站点的完全性，在不同的Web数据仓库中检查副本以帮助定位镜像站点，通过发现针对某一特定领域超连接的层次属性去探索信息流动如何影响Web站点的设计。
3．3、Web用法挖掘（Web usage Mining）：
即Web使用记录挖掘，在新兴的电子商务领域有重要意义，它通过挖掘相关的Web日志记录，来发现用户访问 Web页面的模式，通过分析日志记录中的规律，可以识别用户的忠实度、喜好、满意度，可以发现潜在用户，增强站点的服务竞争力。Web使用记录数据除了服务器的日志记录外还包括代理服务器日志、浏览器端日志、注册信息、用户会话信息、交易信息、Cookie中的信息、用户查询、鼠标点击流等一切用户与站点之间可能的交互记录。可见Web使用记录的数据量是非常巨大的，而且数据类型也相当丰富。根据对数据源的不同处理方法，Web 用法挖掘可以分为两类，一类是将Web使用记录的数据转换并传递进传统的关系表里，再使用数据挖掘算法对关系表中的数据进行常规挖掘；另一类是将Web 使用记录的数据直接预处理再进行挖掘。Web 用法挖掘中的一个有趣的问题是在多个用户使用同一个代理服务器的环境下如何标识某个用户，如何识别属于该用户的会话和使用记录，这个问题看起来不大，但却在很大程度上影响着挖掘质量，所以有人专门在这方面进行了研究。通常来讲，经典的数据挖掘算法都可以直接用到Web 用法挖掘上来，但为了提高挖掘质量，研究人员在扩展算法上进行了努力，包括复合关联规则算法、改进的序列发现算法等。
在[4]中，根据数据来源、数据类型、数据集合中的用户数量、数据集合中的服务器数量等将Web 用法挖掘分为五类：
●个性挖掘：针对单个用户的使用记录对该用户进行建模，结合该用户基本信息分析他的使用习惯、个人喜好，目的是在电子商务环境下为该用户提供与众不同的个性化服务。
●系统改进：Web服务（数据库、网络等）的性能和其他服务质量是衡量用户满意度的关键指标，Web 用法挖掘可以通过用户的拥塞记录发现站点的性能瓶颈，以提示站点管理者改进Web缓存策略、网络传输策略、流量负载平衡机制和数据的分布策略。此外，可以通过分析网络的非法入侵数据找到系统弱点，提高站点安全性，这在电子商务环境下尤为重要。
●站点修改：站点的结构和内容是吸引用户的关键。Web 用法挖掘通过挖掘用户的行为记录和反馈情况为站点设计者提供改进的依，比如页面连接情况应如何组织、那些页面应能够直接访问等。
●智能商务：用户怎样使用Web站点的信息无疑是电子商务销售商关心的重点，用户一次访问的周期可分为被吸引、驻留、购买和离开四个步骤，Web用法挖掘可以通过分析用户点击流等Web日志信息挖掘用户行为的动机，以帮助销售商合理安排销售策略。
●Web特征描述：这类研究跟关注这样通过用户对站点的访问情况统计各个用户在页面上的交互情况，对用户访问情况进行特征描述。
4．结束语
尽管Web挖掘的形式和研究方向层出不穷，但我认为随着电子商务的兴起和迅猛发展，未来Web挖掘的一个重要应用方向将是电子商务系统。而与电子商务关系最为密切的是用法挖掘（Usage Mining），也就是说在这个领域将会持续得到更多的重视。另外，在搜索引擎的研究方面，结构挖掘的研究已经相对成熟，基于文本的内容挖掘也已经有许多研究，下一步将会有更多的研究者把多媒体挖掘最为研究方向。
C. Web数据挖掘的内容简介
《Web数据挖掘》是适用于数据挖掘学术研究和开发的专业人员的参考书，同时也适合作为高等院校计算机及相关专业研究生的教材。书中首先论述了Web的基础（包括Web信息采集机制、Web标引机制以及基于关键字或基于相似性搜索机制），然后系统地描述了Web挖掘的基础知识，着重介绍基于超文本的机器学习和数据挖掘方法，如聚类、协同过滤、监督学习、半监督学习，最后讲述了这些基本原理在Web挖掘中的应用。《Web数据挖掘》为读者提供了坚实的技术背景和最新的知识。
D. 基于web的数据挖掘 如何实现
估计你是做一个收集web数据的项目吧！比如商业信息什么的。
有一个软件叫 商友-business partner,
当然源码你是看不到的，你可以参考以下它的风格，和功能。一套正版的要1W多呢。网上有破解版的，你找找！
E. 学习web数据挖掘需要哪些基础
数据挖掘的起点很高——
1、统计学
2、机器学习
3、数学——图论，最优化理论等。
WEB上的数据结构更加复杂。
python语言————应该学习
F. Web挖掘在企业竞争情报中的应用
对Web的挖掘，主要通过3个途径获取竞争情报。
竞争对手Web站点的挖掘。企业网站包括企业各方面的信息，通过对竞争对手网站的挖掘，可以发现不少有价值的情报线索。如网上有关竞争对手的相关合同的具体资料、研发活动、客户信息等，通过对这些信息进行挖掘整理，从而形成有价值的情报。
第三方网站。第三方网站主要包括政府网站、专业数据库以及其他Web站点。政府网站是信息资源的最大拥有者，通过对政府网站的挖掘，可以更好地掌握行业的发展趋势、理解政府的政策，以便做出正确的决策。专业数据库主要有专利数据库、商情数据库、各种会议数据库等。从专业数据库中，可以检索到各种不同的商情信息，可以更好地挖掘出竞争对手的市场营销、成本定位、研发能力、组织结构等方面的内容。其他Web站点主要有竞争对手客户站点、网络舆情论坛、求职网站及其他商业性Web站点。
企业自身Web站点的挖掘。对企业自身Web日志的挖掘，可以从多途径了解关注本企业的潜在客户群。例如，通过对浏览者在服务器上留下信息的挖掘，可以了解用户的年龄结构、职业、爱好习惯等；运用统计学和心理学原理，可以挖掘出用户对本企业的期望程度和分析产品需要改进之处等，以便有针对性地制定出相应的决策。
G. 网络数据挖掘是什么和web数据挖掘有什么区别与联系
数据采集和数据挖掘是数据管理的不同阶段
数据采集的工作是从数据源获得能够保存至数据库或数据仓库中的数据信息。例如从传感器采集到的温度、速度、湿度等信息，从网络中采集的Web数据等。
在数据采集之后需要对数据进行数据清洗，使数据符合入库的要求，之后就是对采集的数据进行导入。最后是在数据库或数据仓库上进行数据挖掘。
H. Web 数据挖掘如何入门
最基本的sql + python + （R or spss ）
最基本的sql会就行，什么join啊什么的都不用管，能select * from xxx limit n啥的就足够了。做到能批量把要用到的原始数据下载下来
python5分钟就能上手写，1周就能熟练的处理各种原始数据到你想要输入给下一步的软件的格式上。
然后用R或者spss来画图或者做跑各种高大上的统计模型
然后根据不同的业务自己去想挖掘的方法，什么回归啊，什么SVM，什么决策树啊，这些东西都是工具，不是目的
至于如何有好的挖掘的idea，似乎没有好书推荐，在工作中学吧
或者说，这就是社会学背景能带来最大好处的地方
理论别学太多，又不是搞学术
这套东西全弄下来，也就一周两周的事情（spss你已经会啦嘛）
I. WEB挖掘的WEB挖掘-能挖到什么
· 获取竞争对手和客户信息。Web不仅由页面组成，而且还包含了从一个页面指向另一个页面的超链接。一个Web页面的作者建立指向另一个页面的指针，就可以看作是作者对另一页面的认可。把另一页面的来自不同作者的注解收集起来，就可以用来反映该页面的重要性，并可以很自然地用于权威页面的发现。另外一种重要的Web页面是一个或多个Web页面，它提供了指向权威页面的链接集合，称为Hub。Hub页面本身可能并不突出，或者说可能没有几个链接指向它们，但是 Hub页面却提供了指向就某个话题而言最为突出的站点的链接。通过分析这类信息，企业可以获得零售商、中间商、合作商以及竞争对手的信息。
· 发现用户访问模式。通过分析和探究Web日志记录中的规律，可以识别电子商务的潜在客户，提高对最终用户的服务质量，并改进Web服务器系统的性能。 Web日志记录数据库提供了有关Web动态的，基于URL、时间、IP地址和Web页面内容的丰富信息，对它们进行分析，有助于发现潜在客户、用户和市场,有助于聚类用户并将用户分门别类，以实现个性化的市场服务。
·反竞争情报活动。反竞争情报是企业竞争情报活动的重要组成部分。忽视竞争对手的竞争情报活动、低估竞争对手搜集竞争情报的能力势必导致企业失去已有的竞争优势。Web站点是企业与外界进行交流的窗口，同时也是竞争对手获取竞争情报的一个重要信息源。在竞争情报计算机系统中，可以充分利用Web挖掘技术，通过运用分析访问者的IP地址、客户端所属域、信息访问路径，统计敏感信息访问率等方法识别竞争对手，保护企业敏感性信息。