⑴ 本人想用C#做一个WEB版的网络爬虫,具体实现给出新闻网址得到网站中新闻的标题和内容.求高人指点设计思路
一下简单的原理：
首先模拟浏览获取网页。
其次分析网页的内容。
最后根据自己的需要把数据储存在数据库中。（超级简单吧）
备注一句：如果是分布式爬虫的话，我考虑考虑哈，毕竟我还是很菜的哈。
在我使用的HTTP请求不带COOKIE。
带Cookie的代码
using(Stream writer = Request.GetRequestStream()
{
byte[] data=Encoding.GetEncoding("UTF-8").GetBytes("cookie");
request.ContentLength = data.Length;
writer.Write(data,0,data.Length);
}
HTTP请求携带的POST数据
using (StreamWriter streamWriter = new StreamWriter(httpWebRequest.GetRequestStream()))
{
streamWriter.Write(postString);
streamWriter.Flush();
streamWriter.Close();
}
⑵ 什么是网络爬虫以及怎么做它
网络爬虫（又被称为网页蜘蛛，网络机器人，在FOAF社区中间，更经常的称为网页追逐者），是一种按照一定的规则，自动的抓取万维网信息的程序或者脚本。另外一些不常使用的名字还有蚂蚁，自动索引，模拟程序或者蠕虫。
看看网络 上边挺详细的
⑶ 怎么用VBA或网络爬虫程序抓取网站数据
VBA网抓常用方法
1、xmlhttp/winhttp法：
用xmlhttp/winhttp模拟向服务器发送请求，接收服务器返回的数据。
优点：效率高，基本无兼容性问题。
缺点：需要借助如fiddler的工具来模拟http请求。
2、IE/webbrowser法：
创建IE控件或webbrowser控件，结合htmlfile对象的方法和属性，模拟浏览器操作，获取浏览器页面的数据。
优点：这个方法可以模拟大部分的浏览器操作。所见即所得，浏览器能看到的数据就能用代码获取。
缺点：各种弹窗相当烦人，兼容性也确实是个很伤脑筋的问题。上传文件在IE里根本无法实现。
3、QueryTables法：
因为它是excel自带，所以勉强也算是一种方法。其实此法和xmlhttp类似，也是GET或POST方式发送请求，然后得到服务器的response返回到单元格内。
优点：excel自带，可以通过录制宏得到代码，处理table很方便
。代码简短，适合快速获取一些存在于源代码的table里的数据。
缺点：无法模拟referer等发包头
也可以利用采集工具进行采集网页端的数据，无需写代码。
⑷ 如何让网页被爬虫抓取
爬虫就是自动提取网页的程序，如网络的蜘蛛等，要想让自己的网站更多页面被收录，首先就要让网页被爬虫抓取。
如果你的网站页面经常更新，爬虫就会更加频繁的访问页面，优质的内容更是爬虫喜欢抓取的目标，尤其是原创内容。
如果你做了许多努力仍没有被爬虫抓取，可以看一下老渔哥给出的两点建议：
1、不建议站点使用js生成主体内容，如过js渲染出错，很可能导致页面内容读取错误，页面则无法被爬虫抓取。
2、许多站点会针对爬虫做优化，建议页面长度在128k之内，不要过长。
⑸ 如何通过web的方式开发配置，并调度监控自己的爬虫
果有资金专门做这块的话，市面上已经存在火车头、八爪鱼 这样的抓取软件，小白用户用的还是不错的。
但是如果要对所有的爬虫进行统一管理和部署的话，需要有一个通用的框架，类似 Hadoop中 确定了 map和rece的接口，在里面实现所有的抓取操作，对于任务的分配，如果是java的话，就需要提交jar包之类的。
另外是心跳机制，如何确定一个爬虫在按照既有的规则在执行，别当了之后还不知道，这个时候心跳中就可以存储 当前抓取的数据量、异常数、当前程序运行时间等。这个可以通过监测管理页面来展示等。
另外就是如果是抓取同类别的爬虫，比如新闻类 这个通用框架是没有问题的，但是在抓取特定数据的时候 比如 企业信息、旅游数据等 这些都不按规则套路出牌，如果硬要套框架的话 就得不偿失了，反不如直接写代码来的顺手，毕竟网络采集 关注的是获取的数据，而不是获取的方式。
⑹ 你好！你有用C#做过一个WEB版的网络爬虫的网页吗
用网页做爬虫，不如做成EXE，因为稳定
爬虫的原理就是：先弄到网页的html，然后正则匹配，然后保存，就OK了
⑺ 如何使用爬虫做一个网站
做法：传统爬虫从一个或若干初始网页的URL开始，获得初始网页上的URL，在抓取网页的过程中，不断从当前页面上抽取新的URL放入队列,直到满足系统的一定停止条件。聚焦爬虫的工作流程较为复杂，需要根据一定的网页分析算法过滤与主题无关的链接，保留有用的链接并将其放入等待抓取的URL队列。
然后，它将根据一定的搜索策略从队列中选择下一步要抓取的网页URL，并重复上述过程，直到达到系统的某一条件时停止。另外，所有被爬虫抓取的网页将会被系统存贮，进行一定的分析、过滤，并建立索引，以便之后的查询和检索；对于聚焦爬虫来说，这一过程所得到的分析结果还可能对以后的抓取过程给出反馈和指导。
⑻ java 网络爬虫怎么实现
代码如下:
packagewebspider;
import
java.util.HashSet;
importjava.util.PriorityQueue;
import
java.util.Set;
importjava.util.Queue;
publicclassLinkQueue{
//已访问的url集合
privatestaticSetvisitedUrl
=newHashSet();
//待访问的url集合
=new
PriorityQueue();
//获得URL队列
(){
return
unVisitedUrl;
}
//添加到访问过的URL队列中
publicstaticvoidaddVisitedUrl(Stringurl)
{
visitedUrl.add(url);
}
//移除访问过的URL
(Stringurl)
{
visitedUrl.remove(url);
}
//未访问的URL出队列
(){
return
unVisitedUrl.poll();
}
//保证每个url只被访问一次
(Stringurl)
{
if(url!=null&&!url.trim().equals("")&&
!visitedUrl.contains(url)
&&
!unVisitedUrl.contains(url))
unVisitedUrl.add(url);
}
//获得已经访问的URL数目
(){
return
visitedUrl.size();
}
//判断未访问的URL队列中是否为空
()
{
returnunVisitedUrl.isEmpty();
}
}