㈠ hadoop入门容易吗
不是很容易，但是推荐一些Hadoop家族系列文章，主要介绍Hadoop家族产品，常用的项目包括Hadoop, Hive, Pig, HBase, Sqoop, Mahout, Zookeeper, Avro, Ambari, Chukwa，新增加的项目包括，YARN, Hcatalog, Oozie, Cassandra, Hama, Whirr, Flume, Bigtop, Crunch, Hue等。
一、学习路线图
Hadoop家族学习路线图 开篇必读
Hive学习路线图
Mahout学习路线图
二、编程实践
Hadoop历史版本安装
用Maven构建Hadoop项目
Hadoop编程调用HDFS
用Maven构建Mahout项目
Mahout推荐算法API详解
用MapRece实现矩阵乘法
从源代码剖析Mahout推荐引擎
Mahout分步式程序开发 基于物品的协同过滤ItemCF
Mahout分步式程序开发 聚类Kmeans
PageRank算法并行实现
三、案例分析
海量Web日志分析 用Hadoop提取KPI统计指标
用Hadoop构建电影推荐系统
用Mahout构建职位推荐引擎
Mahout构建图书推荐系统
PeopleRank从社交网络中发现个体价值
㈡ pagerank算法 python怎么迭代
一 个 搜 索引擎程序主要由搜索器、索引器.检索器和用户接口等四个部分组成，主要存储设备由页面存储器和存储桶两部分组成。
• 搜索器：爬虫 抓取 压缩 存储库
• 索引器：存储库提取网页信息，分析和分解，建立关键字索引，初步排序处理，存入存储桶，即硬件存储单元。
• 用户通过用户接口提交查询，检索器根据输入关键词，在索引器和存储桶进行查找，并且采用算法进行对结果的最终排序
网页信息相关的页面优先度算法
• 以网页内容为基础的算法：关键词在特殊位置出现的状况：例如titile，meta,des.
• 关键词在页面正文出现的状况：关键词出现总次数，出现单词平均间隔，关键词出现的频率。
• 以网页链接为基础的算法：例如PageRank算法 HITS算法 对于HITS不足补充加强的一些列算法。
用户行为相关页面的算法
• 不能忽略用户对搜索结果相关性的意见。通过对WEB日志的分析，调整页面优先度
• 以点击率为为基础的Dir ect Hit 算法：通过搜索结果返回的点击率和相关页面停留时间长短来判断页面受欢迎程度。
• 其他用户行为：例如通过用户行为二次筛选，逐渐缩小搜索结果与用户期望的差距。Cookie记录，热门关键词等。。
使站点被收录
如何让站点收录
• 假如没有给收录，是否给搜索引擎封杀?是否蜘蛛访问你的站点?
• 所有站点数据呈现下降趋势，甚至为零，并且多个搜索引擎出现这种情况
• 通过网站日志分析蜘蛛是否访问站点：没有链接，无效链接，无功而返。
我们要吸引链接。
怎样使更多网页被收录
• 消除蜘蛛陷阱：robots.txt的设置 不要用蜘蛛访问不到的技术显示内容，例如弹出窗口，框架，FLASH,IMG，js 利用JS写的下拉菜单。这样一不能识别内容，二不能顺着链接爬行。 动态URL地址过长，动态参数过多，? & = 等等，避免进入黑洞。。制作404页面，确保服务器的响应。。至少在10秒以内能打开网站。
• 减少被忽视的内容：精简网页，蜘蛛爬过一定大小的页面就会停止爬行，加入网页内容过多，可以用不必要的内容用JS来写。。 FLASH里面确保是你不想被收录的内容，避免使用框架。
• 建立蜘蛛程序通道：设计站点地图。
优化内容
搜索排名要素：主要的两类
• 页面要素：链接流行度，用户行为，URL的长度 和深度，新鲜程度:内容，站点的结构，不要作弊
• 搜索请求要素：关键词突出度，密度，频率，内容，TF*IDF，搜索项接近度
吸引链接到你站点
• 目前最重要排名因素还是由链接决定的。
• 内容为王在以前的互联网上是站有统计性的，但引起互联网变化的不是内容，和是链接。这正的互联网是能容易从一部分内容转移到另外一部分内容。1998年的GOOGLE出现，打破了传统的基于关键词搜索排名算法，而是基于链接分析，利用链接来评判网页等级质量。PR
• 链接的流行度：链接数量，链接质量，锚文本，
• 链接相关性：单纯的锚文本来判定相关是不够的，搜索引擎会查看锚文本周边的词，查看整个页面甚至整个链接来源站点上的词。
链接的权重价值
• 内部链接<在同一个家族内<双向链接<拥挤的单向链接<稀疏的单向链接
• 何为同一家族内链接：IP WHOIS 重复类似的锚文本 对这些权重都不会高。。
㈢ 如何做网站日志分析
一、什么是网站日志
1.网站日志是记录web服务器接收处理请求以及运行时错误等各种原始信息的以·log结尾的文件。
2.通过网站日志可以清楚的得知用户在什么IP、什么时间、用什么操作系统、什么浏览器、什么分辨率设备下访问了网站的哪个页面，是否访问成功。
3.搜索引擎也属于网站中的一类用户，我们今天的分享课，主要是针对搜索引擎这种用户在服务器留下的记录展开分析。
为了方便读懂搜索引擎日志，我们需要了解不同搜索引擎蜘蛛的标识，以下为4种搜索引擎的标识——*网络蜘蛛：Baispider*搜狗：Sogou News Spider*360：360Spider*谷歌：Googlebot
二、如何看懂网站日志
（以下为一段日志记录）www.cafehome.com
58.180.251.134 - - [25/Mar/2015:13:24:33 +0800] "GET /m53256.html
HTTP/1.1" 200 12264 "http://www.cafehome.com/index-1s2i2p2" "Mozilla/5.0
(Windows NT 6.1) AppleWebKit/537.36 (KHTML, like Gecko)
Chrome/35.0.1916.153 Safari/537.36 SE 2.X MetaSr 1.0" "-" "-" "-"
以下为字段解读：
㈣ 如何进行网站日志分析
一个合格的站长或者seoer必须要能看懂网站的服务器日志文件，这个日志记录了网站被搜索引擎爬取的痕迹，给站长提供了蜘蛛是否来访的有力佐证，站长朋友可以通过网站日志来分析搜索引擎蜘蛛的抓取情况，分析网站的是否存在收录异常问题。并且我们可以根据这个日志文件判断蜘蛛来访频率以及抓取规律，这将非常有利于我们做优化。另外，学习分析网站日志文件也是站长必须具备的能力，也是你从一个初级seo进阶到seo高手的必由之路。但是前提是要主机服务商开通日志统计功能，一般虚拟主机提供商都不会开通，你可以申请开通，或者自己到服务器管理后台开通这个日志统计功能，不过日志也会占用空间的，我们在看完日志文件后，可以隔段时间清理下日志文件。那么如何分析服务器日志文件呢?听我娓娓道来。
搜索引擎抓取网站信息必会在服务器上留下信息，这个信息就在网站日志文件里。我们通过日志可以了解搜索引擎的访问情况，一般通过主机服务商开通日志功能，再通过FTP访问网站的根目录，在根目录下可以看到一个log或者weblog文件夹，这里面就是日志文件，我们把这个日志文件下载下来，用记事本(或浏览器)打开就可以看到网站日志的内容。那么到底这个日志里面隐藏了什么玄机呢?其实日志文件就像飞机上的黑匣子。我们可以通过这个日志了解很多信息，那么到底这个日志给我们传递了什么内容呢?
如果想要知道网站日志文件包含了什么内容，首先必须知道各搜索引擎的蜘蛛名称，比如网络的蜘蛛程序名称是spider，Google的机器人程序名称是Google-Googlebot等等，我们在日志的内容里搜索上述的的蜘蛛名就可以知道哪个搜索引擎已经爬取过网站了，这里就留下了他们的蛛丝马迹。再者，必须能看懂常见的http状态码，最常见的HTTP状态码有200(页面抓取成功)、304(上次抓取的和这次抓取的没变化)，404(未找到页面，错误链接)500(服务器未响应，一般由服务器维护和出故障，网站打不开时出现的)，这些状态码是我们站长朋友必须能看懂的，服务器状态码的值是我们和蜘蛛交流的信号。知道了这些基本信息以后我们就可以根据网站日志进行分析了，一般来说我们只看网络和谷歌蜘蛛的爬行和抓取情况，当然有特殊需要的也可以对其他几个蜘蛛的爬行情况进行分析。网站日志中出现大量的谷歌蜘蛛和网络蜘蛛，说明搜索引擎蜘蛛时常来光顾你的网站。
说到分析日志文件，我们就不得不说分析日志文件的时机了，那么在什么情况下我们要去分析日志文件呢?首先，新网站刚建立的时候，这个时候也是站长朋友最急切的时候，我们一般都会焦急的等待搜索引擎收录网站内容，经常会做的事情就是去网络或者Google用命令site:下网站域名看看是否被收录，这个时候，其实我们没必要频繁的查询网站是否被收录，要想知道搜索引擎是否关顾我们的网站。我们就可以借助网站日志文件来查看，怎么看?看网站日志是否有搜索引擎的蜘蛛来网站抓取过，看返回的状态码是200还是其他，如果返回200说明抓取成功，如果返回404说明页面错误，或者页面不存在，就需要做301永久重定向或者302暂时重定向。一般抓取成功后被搜索引擎放出来的时间也会晚点，一般谷歌机器人放出来的比较快，最快可秒杀，但是网络反应就慢了，最快也要一周左右，不过11月份网络算法调整后，放出来的速度还是很快的。其次，当网站收录异常时我们要把正常收录的日志和异常的日志进行对比分析，找出问题所在，这样可以解决网站收录问题，也是对完整优化大有裨益的。第三，网站被搜索引擎K掉后，我们必须要观察网站日志文件来亡羊补牢，一般这种情况下，日志文件里只有很少的几个蜘蛛爬行了首页和robots，我们要找出被K的原因并改正，再提交给搜索引擎，接下来就可以通过观察日志来看蜘蛛是否正常来临，慢慢过一段时间，如果蜘蛛数量增加或者经常来临并且返回200状态吗，那么恭喜你，你的网站又活了，如果半年都没反应，那么建议放弃该域名重新再战了。
很多站长朋友不懂得如何利用网站日志文件，遇到网站收录问题就去提问别人，而不好好自检，这是作为站长或者seoer的悲哀。而且网上的很多软文都提到要做好日志文件的分析，但是那只是软文而已，说不定写文章的作者都没有去看日志文件。说到底，还是希望站长朋友一定不要忽略了网站日志文件，合理的利用好网站日志文件是一个站长或seoer必备的技能。再者说，看懂网站日志文件并不需要你有多么高深的编码知识，其实只要看得懂html代码和几个返回的状态码就可以了，一定不能懒，或者抱着侥幸心理去对待你的网站，这种心理会导致你输得很惨。如果你是一个小站长，或者你是一个seoer，如果你以前没有意识到网站日志文件的重要性，那么从看到我写的这篇文章开始要好好对待你的网站日志了。
㈤ 如何通过用数据挖掘技术来分析Web网站日志
1、数据预处理阶段根据挖掘的目的，对原始Web日志文件中的数据进行提取、分解、合并、最后转换为用户会话文件。该阶段是Web访问信息挖掘最关键的阶段，数据预处理包括:关于用户访问信息的预处理、关于内容和结构的预处理。
2、会话识别阶段该阶段本是属于数据预处理阶段中的一部分，这里将其划分成单独的一个阶段，是因为把用户会话文件划分成的一组组用户会话序列将直接用于挖掘算法，它的精准度直接决定了挖掘结果的好坏，是挖掘过程中最重要的阶段。
3、模式发现阶段模式发现是运用各种方法和技术从Web日志数据中挖掘和发现用户使用Web的各种潜在的规律和模式。模式发现使用的算法和方法不仅仅来自数据挖掘领域，还包括机器学习、统计学和模式识别等其他专业领域。
模式发现的主要技术有：统计分析（statistical analysis）、关联规则（association rules）、聚类（clustering）、归类（classification）、序列模式（sequential patterns）、依赖关系（dependency）。
（1）统计分析（statistical analysis）：常用的统计技术有：贝叶斯定理、预测回归、对数回归、对数-线性回归等。可用来分析网页的访问频率，网页的访问时间、访问路径。可用于系统性能分析、发现安全漏洞、为网站修改、市场决策提供支持。
（2）关联规则（association rules）：关联规则是最基本的挖掘技术，同时也是WUM最常用的方法。在WUM中常常用在被访问的网页中，这有利于优化网站组织、网站设计者、网站内容管理者和市场分析，通过市场分析可以知道哪些商品被频繁购买，哪些顾客是潜在顾客。
（3）聚类（clustering）：聚类技术是在海量数据中寻找彼此相似对象组，这些数据基于距离函数求出对象组之间的相似度。在WUM中可以把具有相似模式的用户分成组，可以用于电子商务中市场分片和为用户提供个性化服务。
（4）归类（classification）：归类技术主要用途是将用户资料归入某一特定类中，它与机器学习关系很紧密。可以用的技术有：决策树（decision tree）、K-最近邻居、Naïve Bayesian classifiers、支持向量机（support vector machines）。
（5）序列模式（sequential patterns）：给定一个由不同序列组成的集合，其中，每个序列由不同的元素按顺序有序排列，每个元素由不同项目组成，同时给定一个用户指定的最小支持度阈值，序列模式挖掘就是找出所有的频繁子序列，即子序列在序列集中的出现频率不低于用户指定的最小支持度阈值。
（6）依赖关系（dependency）：一个依赖关系存在于两个元素之间，如果一个元素A的值可以推出另一个元素B的值，则B依赖于A。
4、模式分析阶段模式分析是Web使用挖掘最后一步，主要目的是过滤模式发现阶段产生的规则和模式，去除那些无用的模式，并把发现的模式通过一定的方法直观的表现出来。由于Web使用挖掘在大多数情况下属于无偏向学习，有可能挖掘出所有的模式和规则，所以不能排除其中有些模式是常识性的，普通的或最终用户不感兴趣的，故必须采用模式分析的方法使得挖掘出来的规则和知识具有可读性和最终可理解性。常见的模式分析方法有图形和可视化技术、数据库查询机制、数理统计和可用性分析等。
㈥ Web测试的主要内容和测试方法有哪些
测试分类：
1、界面测试
1）给用户的整体感：舒适感；凭感觉能找到想要找的信息；设计风格是否一致
2）各控件的功能
2、功能测试
1）删除/增加某一项：是否对其他项造成影响，这些影响是否都正确
2）列表默认值检查
3）检查按钮功能是否正确：新建、编辑、删除、关闭、返回、保存、导入、上一页、下一页、页面跳转、重置（常见错误）
4）字符串长度检查：超出长度
5）字符类型检查
6）标点符号检查：空格、各种引号、Enter键
7）特殊字符：常见%、“、”
8）中文字符：是否乱码
9）检查信息完整：查看信息，查看所填信息是否完整更新；更新信息，更新信息与添加信息是否一致
10）信息重复：需唯一信息处，比如重复的名字或ID、重名是否区分大小写、加空格
11）检查删除功能：不选择任何信息，按Delete，看如何处理；选择一个或多个进行删除；多页选、翻页选删除；删除是否有提示
12）检查添加和修改是否一致：添加必填项，修改也该必填；添加为什么类型，修改也该什么类型
13）检查修改重名：修改时把不能重名的项改为已存在的内容
14）重复提交表单：一条已经成功提交的记录，返回后再提交
15）检查多次使用返回键：返回到原来页面，重复多次
16）搜索检查：存在或不存在内容，看搜索结果是否正确；多个搜索条件，同时输入合理和不合理条件；特殊字符
17）输入信息的位置
18）上传下载文件检查：功能是否实现，
上传：上传文件是否能打开、格式要求、系统是否有解释信息、将不能上传的文件格式修改后缀为可上传的文件格式；
下载：下载是否能打开、保存、格式要求
19）必填项检查：必填项未填写；是否有提示，如加*；对必填项提示返回后，焦点是否自动定位到必填项
20）快捷键检查：是否支持快捷键Ctrl+C、Ctrl+V、backspace；对不允许做输入的字段（如：下拉选项），对快捷方式是否也做了限制
21）Enter键检查：输入结束后按Enter键，系统如何处理
22）刷新键检查：按浏览器刷新键如何处理
23）回退键检查：按浏览器回退键如何处理
24）空格检查：输入项输入一个或多个空格
25）输入法半角全角检查：比如，浮点型，输入全角小数点“。”或“. ”，如4. 5；全角空格
26）密码检查：输入加密方式的极限字符；密码尽可能长
27）用户检查：不同种类管理员用户的不同权限，是否可以互相删除、管理、编辑；一般用户的权限；注销功能，老用户注销再注册，是否为新用户
28）系统数据检查：数据随业务过程、状态的变化保持正确，不能因为某个过程出现垃圾数据，也不能因为某个过程而丢失数据。
29）系统可恢复性检查：以各种方式把系统搞瘫，测试系统是否可以迅速恢复
30）确认提示检查：系统更新、删除操作：是否有提示、取消操作；提示是否准确；事前、事后提示
31）数据注入检查：对数据库注入，特殊字符，对SQL语句进行破坏
32）时间日期检查：时间、日期、时间验证：日期范围是否符合实际业务；对于不符合实际业务的日期是否有限制
33）多浏览器验证
3、性能测试
1）压力测试：实际破坏一个Web应用系统，测试系统的反应，测试系统的限制和故障恢复能力
2）负载测试：在某一负载级别上的性能，包括某个时刻同时访问Web的用户数量、在线数据处理的数量
3）强度测试：测试对象在性能行为异常或极端条件下（如资源减少或用户过多）的可接受性，以此验证系统软硬件水平
4）数据库容量测试：通过存储过程往数据库表中插入一定数量的数据，看是否能及时显示
5）预期指标的性能测试：在需求分析和设计阶段会提出一些性能指标，对于预先确定的性能要求要首先进行测试
6）独立业务性能测试：对核心业务模块做用户并发测试，包括同一时刻进行完全一样的操作、同一时刻使用完全一样的功能
7）组合业务性能测试：模拟多用户的不同操作，最接近实际用户使用情况，按用户实际的实际使用人数比例来模拟各个模块的组合并发情况
8）疲劳强度性能测试：系统稳定运行情况下，以一定负载压力来长时间运行系统的测试
9）网络性能测试：准确展示带宽、延迟、负载、端口的变化是如何影响用户的相应时间的
10）大数据量性能测试：实时大数据量，模拟用户工作时的实时大数据量；极限状态下的测试，系统使用一段时间，积累一段数据量时能否正常运行，以及对前面两种进行结合
11）服务器性能测试：在进行用户并发性能测试、疲劳强度、大数据量性能测试时，完成对服务器性能的监控，并进行评估
12）一些特殊的测试：配置测试、内存泄漏的一些特殊测试
4、可用性测试(接口测试）
1）整体界面测试
2）多媒体测试
3）导航测试
5、客户端兼容性
平台测试：windows；unix；macintosh；linux
浏览器测试：不同厂商的浏览器对Java、Javascript、ActiveX、plug-ins或不同的HTML的规格
不同的支持；框架和层次结构在不同浏览器也不同的显示
6、安全性
安全性测试要求：
1）能够对密码试探工具进行防范
2）能够防范对Cookie攻击的常用手段
3）敏感数据保证不用明文传输
4）能防范通过文件名猜测和查看html文件内容获取重要信息
5）能保证在网站收到工具后在给定时间内恢复，重要数据丢失不超过1小时
web的性能测试工具：
随着Web2.0技术的迅速发展，许多公司都开发了一些基于Web的网站服务，通常在设计开发Web应用系统的时候很难模拟出大量用户同时访问系统的实际情况。
因此，当Web网站遇到访问高峰时，容易发生服务器响应速度变慢甚至服务中断。
为了避免这种情况，需要一种能够真实模拟大量用户访问Web应用系统的性能测试工具进行压力测试，来测试静态HTML页面的响应时间，甚至测试动态网页（包括ASP、PHP、JSP等）的响应时间，为服务器的性能优化和调整提供数据依据。
1、企业级自动化测试工具WinRunner
MercuryInteractive公司的WinRunner是一种企业级的功能测试工具，用于检测应用程序是否能够达到预期的功能及正常运行。
2、工业标准级负载测试工具Loadrunner
LoadRunner是一种预测系统行为和性能的负载测试工具
3、全球测试管理系统testdirector
TestDirector是业界第一个基于Web的测试管理系统，它可以在您公司内部或外部进行全球范围内测试的管理。
4、功能测试工具RationalRobot
IBMRationalRobot是业界最顶尖的功能测试工具，它甚至可以在测试人员学习高级脚本技术之前帮助其进行成功的测试。
它集成在测试人员的桌面IBMRationalTestManager上，在这里测试人员可以计划、组织、执行、管理和报告所有测试活动，包括手动测试报告。
这种测试和管理的双重功能是自动化测试的理想开始。
5、单元测试工具xUnit系列
目前的最流行的单元测试工具是xUnit系列框架，常用的根据语言不同分为JUnit（java），CppUnit（C++），DUnit（Delphi），NUnit（.net），PhpUnit（Php）等等。
该测试框架的第一个和最杰出的应用就是由ErichGamma（《设计模式》的作者）和KentBeck（XP（ExtremeProgramming）的创始人）提供的开放源代码的JUnit.
6、功能测试工具SilkTest
BorlandSilkTest2006属于软件功能测试工具，是Borland公司所提出软件质量管理解决方案的套件之一。
这个工具采用精灵设定与自动化执行测试，无论是程序设计新手或资深的专家都能快速建立功能测试，并分析功能错误。
7、性能测试工具WAS
是由微软的网站测试人员所开发，专门用来进行实际网站压力测试的一套工具。
透过这套功能强大的压力测试工具，您可以使用少量的Client端计算机仿真大量用户上线对网站服务所可能造成的影响。
8、自动化白盒测试工具Jtest
Jtest是parasoft公司推出的一款针对java语言的自动化白盒测试工具，它通过自动实现java的单元测试和代码标准校验，来提高代码的可靠性。
parasoft同时出品的还有C++test，是一款C/C++白盒测试工具。
9、功能和性能测试的工具JMeter
JMeter是Apache组织的开放源代码项目，它是功能和性能测试的工具，100%的用java实现。
10、性能测试和分析工具WEBLOAD
webload是RadView公司推出的一个性能测试和分析工具，它让web应用程序开发者自动执行压力测试；webload通过模拟真实用户的操作，生成压力负载来测试web的性能。
(6)web日志分析算法扩展阅读：
漏洞测试
企业网站做的越来越复杂、功能越来越强。不过这些都不是凭空而来的，是通过代码堆积起来的。如果这个代码只供企业内部使用，那么不会带来多大的安全隐患。
但是如果放在互联网上使用的话，则这些为实现特定功能的代码就有可能成为攻击者的目标。
天眼举一个简单的例子。在网页中可以嵌入SQL代码。而攻击者就可以利用这些SQL代码来发动攻击，来获取管理员的密码等等破坏性的动作。
有时候访问某些网站还需要有某些特定的控件。用户在安装这些控件时，其实就有可能在安装一个木马（这可能访问者与被访问者都没有意识到）。
为此在为网站某个特定功能编写代码时，就要主动出击。从编码的设计到编写、到测试，都需要认识到是否存在着安全的漏洞。
天眼在日常过程中，在这方面对于员工提出了很高的要求。各个员工必须对自己所开发的功能负责。
已知的病毒、木马不能够在所开发的插件中有机可乘。通过这层层把关，就可以提高代码编写的安全性。
㈦ 怎么从网站日志分析网站不收录的原因
网站不收录原因和如何解决。
一、网站不收录的主要原因
1、网站域名之前有不良历史记录
在购买域名之间检查一下域名有没有否被注册过，如果以前注册过了，需要查看以前是否被K，是否被搜索引擎惩罚。顺便在教大家几个查看方法：
(1)、到域名查询中心，比如万网。如果以前注册过，则要小心，查看是否被搜索引擎惩罚过。
(2)、利用site指令，查看方法，site：+域名。如果收录为零，但外链很多，说明此域名被K。
(3)、直接在搜索引擎中输入网址有记录(需要加http://)，而site却没有记录，那么也有可能被k过了。
2、网站服务器空间的不稳定
影响网站空间不稳定的因素有虚拟主机IP被屏蔽、服务器频繁宕机，空间访问速度很慢。搜索引擎蜘蛛来抓取你的网站，如果都打不开或者速度超慢，蜘蛛也没办法抓取，久而久之，蜘蛛光顾的次数只会越来越少，所有说空间不稳定是网站不收录的重要因素之一，这个在购买空间的时候要注意了。
3、robots协议文件设置错误
有些新手对robots协议文件不是太懂，一边禁止搜索引擎抓取或者无意中错误修改了robots协议文件，这就导致蜘蛛无法抓取你网站内容，也就无法收录，最好到网络站长平台工具里的robots中检测一下是否设置正确，你不懂robots你可以让你的程序员检查一下，或是找我上海老张SEO博客帮你看看也行。
4、网站频繁的改版
网站上线后切忌不要频繁的改版，网络最不友好的操作就是更换域名，更换空间，修改首页标题，搞不好几个月都没有排名，没收录。最好的做法是在还没有上线前就提前想好，上线后不要轻易改动。网站改版一定会影响收录，频繁的改版也是网站不收录的重要因素之一，因为你改版所以的代码都是有变动的，因为蜘蛛只能识别代码的，所以你改版会让网络蜘蛛对你的网站有一次的从新认识一样。
5、新站整体权重低影响收录
刚上线的新网站，权重比较低，就算你的文章是原创，内容也很丰富，搜索引擎也是不收录的，这个时候最重要的就是提高权重，权重高了，文章自然也就收录了，这个都是有个收录周期的，一般都是先收录新站的收录，然后在慢慢的把内容收录的页面放出来，这个周期有的长的要1.2个月。
6、网站友情链接的质量影响收录
交换友情链接一定要慎重，交换前要在站长工具里查看对方网站基本情况，质量好的或者权重差不多可以交换，不要与不健康的、垃圾网站、被降权的网站交换，友链质量也是影响网站不收录的因素之一，这里大家一般一个月可以在第三放站长平台工具查看一下友情链接。
7、网站外部缺乏高质量外链
现在网站的高质量外链对网站排名仍然有作用的，网站缺少外链或者优质外链太少，也是影响网站不收录的原因之一。到高权重平台发布相关外链可以吸引蜘蛛，可以增加网站收录速度的。
8、网站优化过度
网站刻意优化，会被搜索引擎认为是作弊。比如说，关键词堆砌、隐藏文字、文章中锚文本过多、锚文本都指向同一个关键词、友情链接过多等，经常遇到网站是这么干的，都是被惩罚了。一旦被搜索引擎识别为作弊，里K站就不远了，自然网站也就不收录了。
9、网站内包含灰色内容
网站中包含一些法律不允许的、明令禁止的词语或者短语，页面出现敏感词等。黄、赌、博这都是搜索引擎所排斥的，当然网站也就不会被收录了。
10、网站内容原创性低
有的网站文章原创度低或者都是采集、复制别人的内容，自己都不优化的，复制过来直接就用，这个是搜索引擎最不喜欢，搜索引擎喜欢新鲜的、没有出现的，又能解决客户的问题的内容。相似度太高或者直接采集的内容是网站不收录的重要因素之一。
11、网站优化中存在作弊现象
网站优化中存在作弊现象直接导致网站不收录、情节严重的直接降权、K站。作弊主要有隐藏文字、隐藏链接、垃圾链接、买卖链接、链接农场、隐藏页面、PR劫持、桥页、跳转、大规模站群等，这些都是属于黑帽SEO希望大家不要去采用。
12、网站结构层次过深
网站链接过深，会影响搜索引擎蜘蛛抓取，蜘蛛会迷路，时间久了，蜘蛛来的次数就会减少，最后导致网站不收录，一般建议在三层以内。
13、搜索引擎更新新算法
搜索引擎是经常更新算法的，有的时候更新之后，你的网站优化不符合它的算法，也会导致网站不收录或者收录减少，站长朋友不必惊慌，只需做好基础优化，更新高质量的文章，很快网站就会恢复收录了。
14、网站存在安全问题
网站被挂了黑链，植入了恶意代码，严重影响了安全，搜索引擎会做出判断，导致网站不收录或者收录减少。
二、网站不收录的解决方法
1、网站上线之初，检查域名是否注册，是否健康。被搜索引擎惩罚的域名不注册。
2、网站空间尽量选择正规的、大品牌、稳定的、速度快的、功能齐全的空间商。
3、正确设置robots协议文件，如果设置错误修改即可，并到网络站长平台检查。
4、网站上线后切忌频繁改版，万不得已需要改版，请到网络站长平台添加改版规则，申请闭站保护，使网站尽快恢复，实现收录。
5、交换友情链接时，注意相关性、数量不要超过30个、注意是否健康。交换后，检查下你的友情链接是否链接了被K的网站，对方被K，你的网站也会受到牵连的，这个时候你要在第一时间把对方的链接撤掉。
6、有计划、有步骤的到高权重平台发布高质量外链，注意相关度，多样化。
7、网站优化避免过度优化，关键词不能堆砌、锚文本自然出现、不要使用作弊手法。
8、网站无意中出现灰色词、敏感词要及时修改或者删除。
9、网站文章内容尽量保持原创或者伪原创，伪原创内容尽量修改80%以上内容，减低相似度，利于收录。
10、网站使用正规手法，白帽SEO优化，有利于收录，有利于排名。不要使用黑帽手法。
11、一般网站结构建议为3层，超过3层不利于蜘蛛抓取，不利于网站收录。
12、网站应该定期检查代码，发现黑链、挂马及时清除。定期备份，以防万一，做好网站安全工作。
其实网站不收录的因素很多，作为SEO人员应该学会分析，要找出不收录的原因并解决。SEO优化工作从网站还没上线就已经开始，网站上线后需要我们定期的检查网站代码，分析网站日志，每一次的调整、修改做好记录，方便以后网站不收录了知道原因，才能做出相应的对策。
㈧ 用户行为分析系统建立所需步骤和所需软件
Web日志挖掘分析的方法
日志文件的格式及其包含的信息
①2006-10-17 00:00:00②202.200.44.43 ③218.77.130.24 80 ④GET ⑤/favicon.ico
⑥Mozilla/5.0+(Windows；+U；+Windows+NT+5.1；+zh-CN；+rv：1.8.0.3)+Gecko/20060426
+Firefox/1.5.0.3。
①访问时间；②用户IP地址；③访问的URL，端口；④请求方法(“GET”、“POST”等)；
⑤访问模式；⑥agent，即用户使用的操作系统类型和浏览器软件。
一、日志的简单分析
1、注意那些被频繁访问的资源
2、注意那些你网站上不存在资源的请求。常见的扫描式攻击还包括传递恶意参数等：
3、观察搜索引擎蜘蛛的来访情况
4、观察访客行为
应敌之策：
1、封杀某个IP
2、封杀某个浏览器类型（Agent）
3、封杀某个来源（Referer）
4、防盗链
5、文件重命名
作用：
1.对访问时间进行统计，可以得到服务器在某些时间段的访问情况。
2.对IP进行统计，可以得到用户的分布情况。
3.对请求URL的统计，可以得到网站页面关注情况。
4.对错误请求的统计，可以更正有问题的页面。
二、Web挖掘
根据所挖掘的Web 数据的类型，可以将Web 数据挖掘分为以下三类：Web 内容挖掘(Web Content Mining)、Web 结构挖掘(Web Structure Mining)、Web 使用挖掘(Web Usage Mining)（也称为Web日志挖掘）。
①Web内容挖掘。Web内容挖掘是指从文档的内容中提取知识。Web内容挖掘又分为文本挖掘和多媒体挖掘。目前多媒体数据的挖掘研究还处于探索阶段,Web文本挖掘已经有了比较实用的功能。Web文本挖掘可以对Web上大量文档集合的内容进行总结、分类、聚类、关联分析,以及利用Web文档进行趋势预测等。Web文档中的标记,例如<Title>和<Heading>等蕴含了额外的信息,可以利用这些信息来加强Web文本挖掘的作用。
②Web结构挖掘。Web结构挖掘是从Web的组织结构和链接关系中推导知识。它不仅仅局限于文档之间的超链接结构,还包括文档内部的结构。文档中的URL目录路径的结构等。Web结构挖掘能够利用网页间的超链接信息对搜索引擎的检索结果进行相关度排序,寻找个人主页和相似网页,提高Web搜索蜘蛛在网上的爬行效率,沿着超链接优先爬行。Web结构挖掘还可以用于对Web页进行分类、预测用户的Web链接使用及Web链接属性的可视化。对各个商业搜索引擎索引用的页数量进行统计分析等。
③Web使用记录挖掘。Web使用记录挖掘是指从Web的使用记录中提取感兴趣的模式，目前Web使用记录挖掘方面的研究较多,WWW中的每个服务器都保留了访问日志,记录了关于用户访问和交互的信息,可以通过分析和研究Web日志记录中的规律,来识别网站的潜在用户;可以用基于扩展有向树模型来识别用户浏览序列模式,从而进行Web日志挖掘;可以根据用户访问的Web记录挖掘用户的兴趣关联规则,存放在兴趣关联知识库中,作为对用户行为进行预测的依据,从而为用户预取一些Web页面,加快用户获取页面的速度，分析这些数据还可以帮助理解用户的行为,从而改进站点的结构,或为用户提供个性化的服务。
通过对Web服务器日志中大量的用户访问记录深入分析，发现用户的访问模式和兴趣爱好等有趣、新颖、潜在有用的以及可理解的未知信息和知识，用于分析站点的使用情况，从而辅助管理和支持决策。当前，web日志挖掘主要被用于个性化服务与定制、改进系统性能和结构、站点修改、商业智能以及web特征描述等诸多领域。
三、Web日志挖掘的方法
（一）首先，进行数据的预处理。
从学习者的访问日志中得到的原始日志记录并不适于挖掘，必须进行适当的处理才能进行挖掘。因此，需要通过日志清理，去除无用的记录；对于某些记录，我们还需要通过站点结构信息，把URL路径补充成完整的访问序列；然后划分学习者，并把学习者的会话划分成多个事务。
（二）其次，进行模式发现
一旦学习者会话和事务识别完成，就可以采用下面的技术进行模式发现。模式发现, 是对预处理后的数据用数据挖掘算法来分析数据。分有统计、分类、聚类、关等多种方法。
① 路径分析。它可以被用于判定在一个站点中最频繁访问的路径，还有一些其它的有关路径的信息通过路径分析可以得出。路径分析可以用来确定网站上的频繁访问路径, 从而调整和优化网站结构, 使得用户访问所需网页更加简单快捷, 还可以根据用户典型的浏览模式用于智能推荐和有针对性的电子商务活动。例如：70% 的学习者在访问/ E-Business /M2时，是从/EB开始，经过/ E-Business /SimpleDescription，/ E-Business /M1；65%的学习者在浏览4个或更少的页面内容后就离开了。利用这些信息就可以改进站点的设计结构。
② 关联规则。 使用关联规则发现方法，可以从Web的访问事务中找到的相关性。关联规则是寻找在同一个事件中出现的不同项的相关性，用数学模型来描述关联规则发现的问题：x=>y的蕴含式，其中x,y为属性——值对集(或称为项目集)，且X∩Y空集。在数据库中若S%的包含属性——值对集X的事务也包含属性——值集Y，则关联规则X=>Y的置信度为C%。
③ 序列模式。在时间戳有序的事务集中，序列模式的发现就是指那些如“一些项跟随另一个项”这样的内部事务模式。它能发现数据库中如“在某一段时间内，客户购买商品A，接着会购买商品B，尔后又购买商品C，即序列A→B→C出现的频率高”之类的信息。序列模式描述的问题是：在给定的交易序列数据库中，每个序列按照交易的时间排列的一组交易集，挖掘序列函数作用是返回该数据库中高频率出现有序列。
④ 分类分析。发现分类规则可以给出识别一个特殊群体的公共属性的描述，这种描述可以用于分类学习者。分类包括的挖掘技术将找出定义了一个项或事件是否属于数据中某特定子集或类的规则。该类技术是最广泛应用于各类业务问题的一类挖掘技术。分类算法最知名的是决策树方法，此外还有神经元网络、Bayesian分类等。例如：在/ E-Business /M4学习过的学习者中有40％是20左右的女大学生。
⑤聚类分析。可以从Web访问信息数据中聚类出具有相似特性的学习者。在Web事务日志中，聚类学习者信息或数据项能够便于开发和设计未来的教学模式和学习群体。聚类是将数据集划分为多个类，使得在同一类中的数据之间有较高的相似度，而在不同类中的数据差别尽可能大。在聚类技术中，没有预先定义好的类别和训练样本存在，所有记录都根据彼此相似程度来加以归类。主要算法有k—means、DBSCAN等。聚类分析是把具有相似特征的用户或数据项归类,在网站管理中通过聚类具有相似浏览行为的用户。基于模糊理论的Web页面聚类算法与客户群体聚类算法的模糊聚类定义相同，客户访问情况可用URL(Uj)表示。有Suj={(Ci，fSuj(Ci))|Ci∈C}，其中fSuj(Ci)→[0，1]是客户Ci和URL(Uj)间的关联度：式中m为客户的数量，hits(Ci)表示客户Ci访问URL(Uj)的次数。利用Suj和模糊理论中的相似度度量Sfij定义建立模糊相似矩阵，再根据相似类[Xi]R的定义构造相似类，合并相似类中的公共元素得到的等价类即为相关Web页面。
⑥统计。统计方法是从Web 站点中抽取知识的最常用方法, 它通过分析会话文件, 对浏览时间、浏览路径等进行频度、平均值等统计分析。虽然缺乏深度, 但仍可用于改进网站结构, 增强系统安全性, 提高网站访问的效率等。
⑦协同过滤。协同过滤技术采用最近邻技术，利用客户的历史、喜好信息计算用户之间的距离，目标客户对特点商品的喜好程度由最近邻居对商品的评价的加权平均值来计算。
（三）最后，进行模式分析。
模式分析。基于以上的所有过程，对原始数据进行进一步分析，找出用户的浏览模式规律，即用户的兴趣爱好及习惯，并使其可视化，为网页的规划及网站建设的决策提供具体理论依据。其主要方法有：采用SQL查询语句进行分析；将数据导入多维数据立方体中，用OLAP工具进行分析并给出可视化的结果输出。（分类模式挖掘、聚类模式挖掘、时间序列模式挖掘、序列模式挖掘、关联规则等）
四、关联规则
（一）关联规则
顾名思义，关联规则（association rule）挖掘技术用于于发现数据库中属性之间的有趣联系。一般使用支持度（support）和置信度（confidence）两个参数来描述关联规则的属性。
1.支持度。规则 在数据库 中的支持度 是交易集中同时包含 ， 的事务数与所有事务数之比，记为 。支持度描述了 ， 这两个项集在所有事务中同时出现的概率。
2．置信度。规则 在事务集中的置信度(confidence)是指同时包含 ， 的事务数与包含 的事务数之比，它用来衡量关联规则的可信程度。记为
规则 A Þ C:支持度= support({A}È{C}) = 50%，置信度= support({A}È{C})/support({A}) = 66.6%
（二）Apriori方法简介
Apriori算法最先是由Agrawal等人于1993年提出的，它的基本思想是：首先找出所有具有超出最小支持度的支持度项集，用频繁的(k—1)-项集生成候选的频繁k-项集；其次利用大项集产生所需的规则；任何频繁项集的所有子集一定是频繁项集是其核心。
Apriori算法需要两个步骤：第一个是生成条目集；第二个是使用生成的条目集创建一组关联规则。当我们把最小置信度设为85%，通过关联规则的形成以及对应置信度的计算，我们可以从中得到以下有用的信息：
1.置信度大于最小置信度时：我们可以这样认为，用户群体在浏览相关网页时，所呈列的链接之间是有很大关联的，他们是用户群的共同爱好，通过网页布局的调整，从某种意义上，可以带来更高的点击率及潜在客户；
2.置信度小于最小置信度时：我们可以这样认为，用户群体对所呈列链接之间没太多的关联，亦或关联规则中的链接在争夺用户。
五、网站中Web日志挖掘内容
（1）网站的概要统计。网站的概要统计包括分析覆盖的时间、总的页面数、访问数、会话数、惟一访问者、以及平均访问、最高访问、上周访问、昨日访问等结果集。
（2）内容访问分析。内容访问分析包括最多及最少被访问的页面、最多访问路径、最多访问的新闻、最高访问的时间等。
（3）客户信息分析。客户信息分析包括访问者的来源省份统计、访问者使用的浏览器及操作系统分析、访问来自的页面或者网站、来自的IP地址以及访问者使用的搜索引擎。
（4）访问者活动周期行为分析。访问者活动周期行为分析包括一周7天的访问行为、一天24小时的访问行为、每周的最多的访问日、每天的最多访问时段等。
（5）主要访问错误分析。主要访问错误分析包括服务端错误、页面找不到错误等。
（6）网站栏目分析。网站栏目分析包括定制的频道和栏目设定，统计出各个栏目的访问情况，并进行分析。
（7）商务网站扩展分析。商务网站扩展分析是专门针对专题或多媒体文件或下载等内容的访问分析。
（8）有4个方向可以选择:①对用户点击行为的追踪，click stream研究；②对网页之间的关联规则的研究；③对网站中各个频道的浏览模式的研究；④根据用户浏览行为，对用户进行聚类，细分研究；（如果你能够结合现有的互联网产品和应用提出一些自己的建议和意见，那就更有价值了。）
（9）发现用户访问模式。通过分析和探究Web日志记录中的规律，可以识别电子商务的潜在客户，提高对最终用户的服务质量，并改进Web服务器系统的性能。
(10)反竞争情报活动。反竞争情报是企业竞争情报活动的重要组成部分。
六、相关软件及算法
（一）相关软件：
1.数据挖掘的专用软件wake。
2.用OLAP工具
3.已经有部分公司开发出了商用的网站用户访问分析系统，如WebTrends公司的CommerceTrends 3.0,它能够让电子商务网站更好地理解其网站访问者的行为，帮助网站采取一些行动来将这些访问者变为顾客。CommerceTrends主要由3部分组成：Report Generation Server、Campain Analyzer和Webhouse Builder。
4.Accrue公司的Accrue Insight，它是一个综合性的Web分析工具,它能够对网站的运行状况有个深入、细致和准确的分析，通过分析顾客的行为模式，帮助网站采取措施来提高顾客对于网站的忠诚度，从而建立长期的顾客关系。
（二）相关算法：
1.运用各种算法进行数据挖掘：GSP算法, Prefixspana算法，
2.关联规则分析：Apriori、FP-growth算法等。
3.Apriori算法及其变种算法
4.基于数据库投影的序列模式生长技术（database project based sequential pattern growth）
5. Wake算法、MLC++等
6. PageRank算法和HITS算法利用Web页面间的超链接信息计算“权威型”（Authorities）网页和“目录型”（Hubs）网页的权值。Web结构挖掘通常需要整个Web的全局数据，因此在个性化搜索引擎或主题搜索引擎研究领域得到了广泛的应用。
7.参考检索引擎的挖掘算法，比如Apache的lucene等。
㈨ web挖掘怎么实现
截止到今天为止，我尚不知道有什么有价值的web挖掘系统存在，不过您可以参考检索引擎的挖掘算法，比如Apache的lucene等
http://lucene.apache.org/java/docs/index.html
-------------
并为您附录以下信息：
近年来，随着 Internet/Web技术的快速普及和迅猛发展，使各种信息可以以非常低的成本在网络上获得，由于Internet/WWW在全球互连互通，可以从中取得的数据量难以计算，而且Internet/WWW的发展趋势继续看好，特别是电子商务的蓬勃发展为网络应用提供了强大支持，如何在WWW这个全球最大的数据集合中发现有用信息无疑将成为数据挖掘研究的热点。
Web挖掘指使用数据挖掘技术在WWW数据中发现潜在的、有用的模式或信息。Web挖掘研究覆盖了多个研究领域，包括数据库技术、信息获取技术、统计学、人工智能中的机器学习和神经网络等。
2．Web挖掘流程
与传统数据和数据仓库相比，Web上的信息是非结构化或半结构化的、动态的、并且是容易造成混淆的，所以很难直接以Web网页上的数据进行数据挖掘，而必须经过必要的数据处理。典型Web挖掘的处理流程如下[3]：
1．查找资源：任务是从目标Web文档中得到数据，值得注意的是有时信息资源不仅限于在线Web文档，还包括电子邮件、电子文档、新闻组，或者网站的日志数据甚至是通过Web形成的交易数据库中的数据。
2．信息选择和预处理：任务是从取得的Web资源中剔除无用信息和将信息进行必要的整理。例如从Web文档中自动去除广告连接、去除多余格式标记、自动识别段落或者字段并将数据组织成规整的逻辑形式甚至是关系表。
3．模式发现：自动进行模式发现。可以在同一个站点内部或在多个站点之间进行。
4．模式分析：验证、解释上一步骤产生的模式。可以是机器自动完成，也可以是与分析人员进行交互来完成。
Web挖掘作为一个完整的技术体系，在进行挖掘之前的信息获得IR（Information Retrieval）和信息抽取IE(Information Extraction)相当重要。信息获得（IR）的目的在于找到相关Web文档，它只是把文档中的数据看成未经排序的词组的集合，而信息抽取(IE)的目的在于从文档中找到需要的数据项目，它对文档的结构合表达的含义感兴趣,它得一个重要任务就是对数据进行组织整理并适当建立索引。
信息获得（IR）和信息抽取(IE)技术的研究已近有很长时间，随着Web技术的发展，基于Web技术的IR、 IE得到了更多的重视。由于Web 数据量非常大，而且可能动态变化，用原来手工方式进行信息收集早已经力不从心，目前的研究方向是用自动化、半自动化的方法在Web上进行IR和IE。在 Web环境下既要处理非结构化文档，又要处理半结构化的数据，最近几年在这两方面都有相应的研究成果和具体应用，特别是在大型搜索引擎中得到了很好的应用。
3．Web挖掘分类及各自的研究现状及发展
根据对Web数据的感兴趣程度不同，Web挖掘一般可以分为三类：Web内容挖掘（Web Content mining）、 Web结构挖掘（ Web structure mining）、 Web 用法挖掘（Web usage Mining）
3．1、Web内容挖掘：
指从Web内容/数据/文档中发现有用信息，Web上的信息五花八门，传统的Internet由各种类型的服务和数据源组成，包括WWW、FTP、Telnet等，现在有更多的数据和端口可以使用，比如政府信息服务、数字图书馆、电子商务数据，以及其他各种通过 Web可以访问的数据库。Web内容挖掘的对象包括文本、图象、音频、视频、多媒体和其他各种类型的数据。其中针对无结构化文本进行的Web挖掘被归类到基于文本的知识发现（KDT）领域，也称文本数据挖掘或文本挖掘，是Web挖掘中比较重要的技术领域，也引起了许多研究者的关注。最近在Web多媒体数据挖掘方面的研究成为另一个热点。
Web内容挖掘一般从两个不同的观点来进行研究。从资源查找（IR）的观点来看，Web内容挖掘的任务是从用户的角度出发，怎样提高信息质量和帮助用户过滤信息。而从DB的角度讲Web内容挖掘的任务主要是试图对Web上的数据进行集成、建模，以支持对Web数据的复杂查询。
3．1．1从资源查找（Information Retrival）的观点挖掘非结构化文档：
非结构化文档主要指Web上的自由文本，包括小说、新闻等。在这方面的研究相对比较多一些，大部分研究都是建立在词汇袋（bag of words）或称向量表示法（vector representation）的基础上，这种方法将单个的词汇看成文档集合中的属性，只从统计的角度将词汇孤立地看待而忽略该词汇出现的位置和上下文环境。属性可以是布尔型，根据词汇是否在文档中出现而定，也可以有频度，即该词汇在文档中的出现频率。这种方法可以扩展为选择终结符、标点符号、不常用词汇的属性作为考察集合。词汇袋方法的一个弊端是自由文本中的数据丰富，词汇量非常大，处理起来很困难，为解决这个问题人们做了相应的研究，采取了不同技术，如信息增益，交叉熵、差异比等，其目的都是为了减少属性。另外，一个比较有意义的方法是潜在语义索引（Latent Semantic Indexing），它通过分析不同文档中相同主题的共享词汇，找到他们共同的根，用这个公共的根代替所有词汇，以此来减少维空间。例如： “informing”、“information”、“informer”、“informed”可以用他们的根“inform”来表示，这样可以减少属性集合的规模。
其他的属性表示法还有词汇在文档中的出现位置、层次关系、使用短语、使用术语、命名实体等，目前还没有研究表明一种表示法明显优于另一种。
用资源查找（Information Retrival）的观点挖掘半结构化文档：
与非结构化数据相比，Web上的半结构化文档挖掘指在加入了HTML、超连接等附加结构的信息上进行挖掘，其应用包括超连接文本的分类、聚类、发现文档之间的关系、提出半结构化文档中的模式和规则等。
3．1．2从数据库（Database）的观点挖掘非结构化文档：
数据库技术应用于Web挖掘主要是为了解决Web信息的管理和查询问题。这些问题可以分为三类：Web信息的建模和查询；信息抽取与集成；Web站点建构和重构。
从数据库的观点进行Web内容挖掘主要是试图建立Web站点的数据模型并加以集成，以支持复杂查询，而不止是简单的基于关键词的搜索。这要通过找到Web文档的模式、建立Web数据仓库或Web知识库或虚拟数据库来实现。相关研究主要是基于半结构化数据进行的。
数据库观点主要利用OEM(Object Exchange Model)模型将半结构化数据表示成标识图。OEM中的每个对象都有对象标识（OID）和值，值可以是原子类型，如整型、字符串型、gif、html 等，也可以是一个复合类型，以对象引用集合的形式表示。由于Web数据量非常庞大，从应用的角度考虑，很多研究只处理办结构化数据的一个常用自集。一些有意义的应用是建立多层数据库（MLDB），每一层是它下面层次的概化，这样就可以进行一些特殊的查询和信息处理。对于在半结构化数据上的查询语言研究也得到了人们的重视并做了专题研究。
由于在数据库观点下数据的表示方法比较特殊，其中包含了关系层次和图形化的数据，所以大部分建立在扁平数据集合之上的数据挖掘方法不能直接使用，目前已经有人针对多层数据库挖掘算法进行研究。
3．2、Web结构挖掘：
Web结构挖掘的对象是Web本身的超连接，即对Web文档的结构进行挖掘。对于给定的Web文档集合，应该能够通过算法发现他们之间连接情况的有用信息，文档之间的超连接反映了文档之间的包含、引用或者从属关系，引用文档对被引用文档的说明往往更客观、更概括、更准确。
Web结构挖掘在一定程度上得益于社会网络和引用分析的研究。把网页之间的关系分为incoming连接和 outgoing连接，运用引用分析方法找到同一网站内部以及不同网站之间的连接关系。在Web结构挖掘领域最着名的算法是HITS算法和 PageRank算法。他们的共同点是使用一定方法计算Web页面之间超连接的质量，从而得到页面的权重。着名的Clever和Google搜索引擎就采用了该类算法。
此外，Web结构挖掘另一个尝试是在Web数据仓库环境下的挖掘，包括通过检查同一台服务器上的本地连接衡量 Web结构挖掘Web站点的完全性，在不同的Web数据仓库中检查副本以帮助定位镜像站点，通过发现针对某一特定领域超连接的层次属性去探索信息流动如何影响Web站点的设计。
3．3、Web用法挖掘（Web usage Mining）：
即Web使用记录挖掘，在新兴的电子商务领域有重要意义，它通过挖掘相关的Web日志记录，来发现用户访问 Web页面的模式，通过分析日志记录中的规律，可以识别用户的忠实度、喜好、满意度，可以发现潜在用户，增强站点的服务竞争力。Web使用记录数据除了服务器的日志记录外还包括代理服务器日志、浏览器端日志、注册信息、用户会话信息、交易信息、Cookie中的信息、用户查询、鼠标点击流等一切用户与站点之间可能的交互记录。可见Web使用记录的数据量是非常巨大的，而且数据类型也相当丰富。根据对数据源的不同处理方法，Web 用法挖掘可以分为两类，一类是将Web使用记录的数据转换并传递进传统的关系表里，再使用数据挖掘算法对关系表中的数据进行常规挖掘；另一类是将Web 使用记录的数据直接预处理再进行挖掘。Web 用法挖掘中的一个有趣的问题是在多个用户使用同一个代理服务器的环境下如何标识某个用户，如何识别属于该用户的会话和使用记录，这个问题看起来不大，但却在很大程度上影响着挖掘质量，所以有人专门在这方面进行了研究。通常来讲，经典的数据挖掘算法都可以直接用到Web 用法挖掘上来，但为了提高挖掘质量，研究人员在扩展算法上进行了努力，包括复合关联规则算法、改进的序列发现算法等。
在[4]中，根据数据来源、数据类型、数据集合中的用户数量、数据集合中的服务器数量等将Web 用法挖掘分为五类：
●个性挖掘：针对单个用户的使用记录对该用户进行建模，结合该用户基本信息分析他的使用习惯、个人喜好，目的是在电子商务环境下为该用户提供与众不同的个性化服务。
●系统改进：Web服务（数据库、网络等）的性能和其他服务质量是衡量用户满意度的关键指标，Web 用法挖掘可以通过用户的拥塞记录发现站点的性能瓶颈，以提示站点管理者改进Web缓存策略、网络传输策略、流量负载平衡机制和数据的分布策略。此外，可以通过分析网络的非法入侵数据找到系统弱点，提高站点安全性，这在电子商务环境下尤为重要。
●站点修改：站点的结构和内容是吸引用户的关键。Web 用法挖掘通过挖掘用户的行为记录和反馈情况为站点设计者提供改进的依，比如页面连接情况应如何组织、那些页面应能够直接访问等。
●智能商务：用户怎样使用Web站点的信息无疑是电子商务销售商关心的重点，用户一次访问的周期可分为被吸引、驻留、购买和离开四个步骤，Web用法挖掘可以通过分析用户点击流等Web日志信息挖掘用户行为的动机，以帮助销售商合理安排销售策略。
●Web特征描述：这类研究跟关注这样通过用户对站点的访问情况统计各个用户在页面上的交互情况，对用户访问情况进行特征描述。
4．结束语
尽管Web挖掘的形式和研究方向层出不穷，但我认为随着电子商务的兴起和迅猛发展，未来Web挖掘的一个重要应用方向将是电子商务系统。而与电子商务关系最为密切的是用法挖掘（Usage Mining），也就是说在这个领域将会持续得到更多的重视。另外，在搜索引擎的研究方面，结构挖掘的研究已经相对成熟，基于文本的内容挖掘也已经有许多研究，下一步将会有更多的研究者把多媒体挖掘最为研究方向。
㈩ 如今一些公司在做的日志分析处理，就是利用数据挖掘算法得到有用信息。。目前用的最多的日志是什么格式
基本就是linux apache和微软Web Sever，还有嵌入代码的自定义格式。但都不固定，需要你根据要分析的日志自己进行识别和处理。你可以参照Web-IA说明，看是否有所帮助。