㈠ 如何使用爬虫技术回去页面新闻并且放入数据库
利用采集器工具可以实现采集网页上的新闻数据，采集到数据可以连接数据库进行导出数据，也可以用api接口来导出数据到数据库
㈡ 爬虫能爬网站数据库吗
爬别人的数据库你必须网络安全方面高深才行，爬你自己的数据库那当然没问题
㈢ 如何使用JAVA编写爬虫将爬到的数据存储到Mysql数据库
Scrapy依赖于twisted，所以如果Scrapy能用，twisted肯定是已经安装好了。
抓取到的数据，可以直接丢到MySQL，也可以用Django的ORM模型丢到MySQL，方便Django调用。方法也很简单，按数据库的语句来写就行了，在spiders目录里定义自己的爬虫时也可以写进去。
当然使用pipelines.py是更通用的方法，以后修改也更加方便。你的情况，应该是没有在Settings.py里定义pipelines，所以Scrapy不会去执行，就不会生成pyc文件了。
㈣ 网络爬虫的存储方法――数据库，有什么作用
可以用来保存采集到的数据啊。
简单来讲，爬虫就是一个探测机器，它的基本操作就是模拟人的行为去各个网站溜达，点点按钮，查查数据，或者把看到的信息背回来。就像一只虫子在一幢楼里不知疲倦地爬来爬去。
㈤ 网络爬虫可以爬取数据库里的数据嘛
只会抓取页面，，当然页面里你会读取到数据库数据。。
所以它不算是抓取你数据库，只是你用在了页面上，生成了结果 ，
它抓取你这个结果。。。
其实想想也是知道的，，数据库除了开发者对程序授权，别人怎么可以操作得到数据库，要不然那不是天下大乱了嘛。。。
㈥ python爬虫爬下来的数据怎么导入到MySQL
下载mysql.connector库
然后把爬虫爬到的数据通过mysql里面的insert语句查到数据库，当然也可以建表，一般我没用python建表 是先建好再写数据的
importmysql.connector
conn=mysql.connector.connect(
user='root',
password='root',
host='127.0.0.1',
port='3306',
database='test_demo'
)
cursor=conn.cursor()
cursor.execute("INSERTINTOtest_user(`uuid`,`user_name`,`user_level`)VALUES(%s,%s,%s)",[id,user_name,user_level])
cursor.execute("INSERTINTOtieba_user_detail(`user_name`,`user_exp`,`user_sex`,`tieba_age`,`tieba_note`,`user_favorites`,`user_fans`)VALUES(%s,%s,%s,%s,%s,%s,%s)",[user_name,user_exp,user_sex,tieba_age,tieba_note,user_favorites,user_fans])
print('**************%s%s数据保存成功**************'%(user_rank,user_name))
conn.commit()
cursor.close()
插进入就这样的
㈦ 要将python爬虫爬到的东西放在数据库里，哪种 数据库比较好
pip3 install pymysql
我的教程;http://www.cnblogs.com/TTyb/p/5823246.html
㈧ 网络爬虫只能爬去web页面的数据信息吗是不是别人数据库中的数据时没有办法抓取的
网络爬虫抓取页面信息，提取其中的链接，顺着链接依次爬行，一般深度优先或者广度优先，这样一层一层的抓取，但是网页上的信息可能会涉及版权，如果对方不允许爬虫抓取，robot协议里禁止抓取，或者设置权限为登陆状态才可以，这些都会阻碍爬虫抓取数据。而web页面上的信息，其实是数据库里的数据在网站上的体现，没有体现出来的数据库数据，爬虫是无法抓取的。除非是给一个入口，这样爬虫从入口进去可以抓取数据。
㈨ 爬虫数据用什么数据库储存最合适
txt文件
MySQL数据库:
xlwt表
MongoDB数据库
这几种都可以用来存储爬虫数据
㈩ 大家在爬虫爬数据的时候都是怎么过滤数据库里存在的重复数据
建议的方法是找一个标识字段，如果这个字段重复了，则这条数据没有插入的必要的这种字段。设置为主键或者唯一键，那么这个字段重复时默认不插入