‘壹’ 如何使用JAVA编写爬虫将爬到的数据存储到Mysql数据库
Scrapy依赖于twisted，所以如果Scrapy能用，twisted肯定是已经安装好了。
抓取到的数据，可以直接丢到MySQL，也可以用Django的ORM模型丢到MySQL，方便Django调用。方法也很简单，按数据库的语句来写就行了，在spiders目录里定义自己的爬虫时也可以写进去。
当然使用pipelines.py是更通用的方法，以后修改也更加方便。你的情况，应该是没有在Settings.py里定义pipelines，所以Scrapy不会去执行，就不会生成pyc文件了。
‘贰’ 用爬虫从网站爬下的数据怎么存储
显然不能直接储存，你还得解析出自己需要的内容。
比如我爬取某新闻网今日的国内新闻，那么我创建一个实体类，里面有属性：新闻标题，新闻时间，正文等等。解析出你需要的内容，封到实体里面，然后在层直接save到数据库即可
如果你爬下的是整个网页，这个好办，把它当做文件一样，用流操作保存到电脑上即可。当然保存网页会遇到编码问题，这个很棘手。
‘叁’ 网络爬虫抓取数据 有什么好的应用
网络爬虫可以根据你的不同需求，选择爬取对象、爬取字段进行爬取（必须是公开数据），好的应用比如：
电商客户，我们采集的数据信息主要为商品信息数据、商品评论信息数据、区域库存价格数据、电商舆情数据等。
金融行业客户，采集主要的信息为公开的客户信息、投融资信息、金融舆情信息、市场数据、公开的财务报表、股票、基金、利率等信息。
在网路舆情方面，采集主要信息为综合论坛、新闻门户、知识问答、自媒体网站、社交平台等网络媒体上的相关舆情信息。
‘肆’ python爬虫爬下来的数据怎么导入到MySQL
下载mysql.connector库
然后把爬虫爬到的数据通过mysql里面的insert语句查到数据库，当然也可以建表，一般我没用python建表 是先建好再写数据的
importmysql.connector
conn=mysql.connector.connect(
user='root',
password='root',
host='127.0.0.1',
port='3306',
database='test_demo'
)
cursor=conn.cursor()
cursor.execute("INSERTINTOtest_user(`uuid`,`user_name`,`user_level`)VALUES(%s,%s,%s)",[id,user_name,user_level])
cursor.execute("INSERTINTOtieba_user_detail(`user_name`,`user_exp`,`user_sex`,`tieba_age`,`tieba_note`,`user_favorites`,`user_fans`)VALUES(%s,%s,%s,%s,%s,%s,%s)",[user_name,user_exp,user_sex,tieba_age,tieba_note,user_favorites,user_fans])
print('**************%s%s数据保存成功**************'%(user_rank,user_name))
conn.commit()
cursor.close()
插进入就这样的
‘伍’ java爬虫实时获取页面数据并存入数据库
这种是工作上的问题把。
没给点好处很难做。
需要一个定时任务。不断去扫这个页面。一有更新马上获取。
获取需要用到解析html标签的jar包。
很简单。但是不想在这浪费时间给你写。
‘陆’ 怎么用VBA或网络爬虫程序抓取网站数据
VBA网抓常用方法
1、xmlhttp/winhttp法：
用xmlhttp/winhttp模拟向服务器发送请求，接收服务器返回的数据。
优点：效率高，基本无兼容性问题。
缺点：需要借助如fiddler的工具来模拟http请求。
2、IE/webbrowser法：
创建IE控件或webbrowser控件，结合htmlfile对象的方法和属性，模拟浏览器操作，获取浏览器页面的数据。
优点：这个方法可以模拟大部分的浏览器操作。所见即所得，浏览器能看到的数据就能用代码获取。
缺点：各种弹窗相当烦人，兼容性也确实是个很伤脑筋的问题。上传文件在IE里根本无法实现。
3、QueryTables法：
因为它是excel自带，所以勉强也算是一种方法。其实此法和xmlhttp类似，也是GET或POST方式发送请求，然后得到服务器的response返回到单元格内。
优点：excel自带，可以通过录制宏得到代码，处理table很方便
。代码简短，适合快速获取一些存在于源代码的table里的数据。
缺点：无法模拟referer等发包头
也可以利用采集工具进行采集网页端的数据，无需写代码。
‘柒’ 如何用最简单的Python爬虫采集整个网站
在之前的文章中Python实现“维基网络六度分隔理论“之基础爬虫，我们实现了在一个网站上随机地从一个链接到另一个链接，但是，如果我们需要系统地把整个网站按目录分类，或者要搜索网站上的每一个页面，我们该怎么办？我们需要采集整个网站，但是那是一种非常耗费内存资源的过程，尤其是处理大型网站时，比较合适的工具就是用一个数据库来存储采集的资源，之前也说过。下面来说一下怎么做。
网站地图sitemap
网站地图，又称站点地图，它就是一个页面，上面放置了网站上需要搜索引擎抓取的所有页面的链接（注：不是所有页面，一般来说是所有文章链接。大多数人在网站上找不到自己所需要的信息时，可能会将网站地图作为一种补救措施。搜索引擎蜘蛛非常喜欢网站地图。
对于SEO，网站地图的好处：
1．为搜索引擎蜘蛛提供可以浏览整个网站的链接简单的体现出网站的整体框架出来给搜索引擎看；
2．为搜索引擎蜘蛛提供一些链接，指向动态页面或者采用其他方法比较难以到达的页面；
3．作为一种潜在的着陆页面，可以为搜索流量进行优化；
4．如果访问者试图访问网站所在域内并不存在的URL，那么这个访问者就会被转到“无法找到文件”的错误页面，而网站地图可以作为该页面的“准”内容。
数据采集
采集网站数据并不难，但是需要爬虫有足够的深度。我们创建一个爬虫，递归地遍历每个网站，只收集那些网站页面上的数据。一般的比较费时间的网站采集方法从顶级页面开始（一般是网站主页），然后搜索页面上的所有链接，形成列表，再去采集到的这些链接页面，继续采集每个页面的链接形成新的列表，重复执行。
很明显，这是一个复杂度增长很快的过程。加入每个页面有10个链接，网站上有5个页面深度，如果采集整个网站，一共得采集的网页数量是105，即100000个页面。
因为网站的内链有很多都是重复的，所以为了避免重复采集，必须链接去重，在Python中，去重最常用的方法就是使用自带的set集合方法。只有“新”链接才会被采集。看一下代码实例：
from urllib.request import urlopenfrom bs4 import BeautifulSoupimport repages = set()def getLinks(pageurl):globalpageshtml= urlopen("" + pageurl)soup= BeautifulSoup(html)forlink in soup.findAll("a", href=re.compile("^(/wiki/)")):if'href' in link.attrs:iflink.attrs['href'] not in pages:#这是新页面newPage= link.attrs['href']print(newPage)pages.add(newPage)getLinks(newPage)getLinks("")
原理说明：程序执行时，用函数处理一个空URL，其实就是维基网络的主页，然后遍历首页上每个链接，并检查是否已经在全局变量集合pages里面，如果不在，就打印并添加到pages集合，然后递归处理这个链接。
递归警告：Python默认的递归限制是1000次，因为维基网络的链接浩如烟海，所以这个程序达到递归限制后就会停止。如果你不想让它停止，你可以设置一个递归计数器或者其他方法。
采集整个网站数据
为了有效使用爬虫，在用爬虫的时候我们需要在页面上做一些事情。我们来创建一个爬虫来收集页面标题、正文的第一个段落，以及编辑页面的链接（如果有的话）这些信息。
第一步，我们需要先观察网站上的页面，然后制定采集模式，通过F12（一般情况下）审查元素，即可看到页面组成。
观察维基网络页面，包括词条和非词条页面，比如隐私策略之类的页面，可以得出下面的规则：
所有的标题都是在h1→span标签里，而且页面上只有一个h1标签。
所有的正文文字都在div#bodyContent标签里，如果我们想获取第一段文字，可以用div#mw-content-text→p，除了文件页面，这个规则对所有页面都适用。
编辑链接只出现在词条页面上，如果有编辑链接，都位于li#ca-edit标签的li#ca-edit→span→a里面。
调整一下之前的代码，我们可以建立一个爬虫和数据采集的组合程序，代码如下：
import redef getLinks(pageUrl):global pageshtml = urlopen("" + pageUrl)soup = BeautifulSoup(html)try:print(soup.h1.get_text())print(soup.find(id="mw-content-text").findAll("p")[0])print(soup.find(id="ca-edit").find("span").find("a").attrs['href'])except AttributeError:print("页面缺少属性")for link in soup.findAll("a", href =re.compile("^(/wiki/)")):if 'href' in link.attrs:#这是新页面newPage = link.attrs['href']print("------------------\n"+newPage)
这个for循环和原来的采集程序基本上是一样的，因为不能确定每一页上都有所有类型的数据，所以每个打印语句都是按照数据在页面上出现的可能性从高到低排列的。
数据存储到MySQL
前面已经获取了数据，直接打印出来，查看比较麻烦，所以我们就直接存到MySQL里面吧，这里只存链接没有意义，所以我们就存储页面的标题和内容。前面我有两篇文章已经介绍过如何存储数据到MySQL，数据表是pages，这里直接给出代码：
import reimport datetimeimport randomimport pymysqlconn = pymysql.connect(host = '127.0.0.1',port = 3306, user = 'root', passwd = '19930319', db = 'wiki', charset ='utf8mb4')cur = conn.cursor()cur.execute("USE wiki")#随机数种子random.seed(datetime.datetime.now())#数据存储def store(title, content):cur.execute("INSERT INTO pages(title, content)VALUES(\"%s\", \"%s\")", (title, content))cur.connection.commit()def getLinks(articleUrl):html = urlopen("" + articleUrl)title = soup.find("h1").get_text()content =soup.find("div",{"id":"mw-content-text"}).find("p").get_text()store(title, content)returnsoup.find("div",{"id":"bodyContent"}).findAll("a",href=re.compile("^(/wiki/)((?!:).)*$"))#设置第一页links =getLinks("/wiki/Kevin_Bacon")try:while len(links)>0:newArticle = links[random.randint(0, len(links)-1)].attrs['href']print (newArticle)links = getLinks(newArticle)finally:cur.close()conn.close()
小结
今天主要讲一下Python中遍历采集一个网站的链接，方便下面的学习。
希望通过上面的操作能帮助大家。如果你有什么好的意见，建议，或者有不同的看法，我都希望你留言和我们进行交流、讨论。
‘捌’ 网页爬虫抓回的信息，是怎样存放在数据库里
1、抓取、下载网页；
2、分析网页、找出自己想要的信息；
3、入库
举例：一个网页抓取十个字段，先分别做上标记放入缓存，然后执行sql插库
二营长SEO
‘玖’ 网络爬虫的存储方法――数据库，有什么作用
可以用来保存采集到的数据啊。
简单来讲，爬虫就是一个探测机器，它的基本操作就是模拟人的行为去各个网站溜达，点点按钮，查查数据，或者把看到的信息背回来。就像一只虫子在一幢楼里不知疲倦地爬来爬去。