㈠ 如何使用爬蟲技術回去頁面新聞並且放入資料庫
利用採集器工具可以實現採集網頁上的新聞數據，採集到數據可以連接資料庫進行導出數據，也可以用api介面來導出數據到資料庫
㈡ 爬蟲能爬網站資料庫嗎
爬別人的資料庫你必須網路安全方面高深才行，爬你自己的資料庫那當然沒問題
㈢ 如何使用JAVA編寫爬蟲將爬到的數據存儲到Mysql資料庫
Scrapy依賴於twisted，所以如果Scrapy能用，twisted肯定是已經安裝好了。
抓取到的數據，可以直接丟到MySQL，也可以用Django的ORM模型丟到MySQL，方便Django調用。方法也很簡單，按資料庫的語句來寫就行了，在spiders目錄里定義自己的爬蟲時也可以寫進去。
當然使用pipelines.py是更通用的方法，以後修改也更加方便。你的情況，應該是沒有在Settings.py里定義pipelines，所以Scrapy不會去執行，就不會生成pyc文件了。
㈣ 網路爬蟲的存儲方法――資料庫，有什麼作用
可以用來保存採集到的數據啊。
簡單來講，爬蟲就是一個探測機器，它的基本操作就是模擬人的行為去各個網站溜達，點點按鈕，查查數據，或者把看到的信息背回來。就像一隻蟲子在一幢樓里不知疲倦地爬來爬去。
㈤ 網路爬蟲可以爬取資料庫里的數據嘛
只會抓取頁面，，當然頁面里你會讀取到資料庫數據。。
所以它不算是抓取你資料庫，只是你用在了頁面上，生成了結果 ，
它抓取你這個結果。。。
其實想想也是知道的，，資料庫除了開發者對程序授權，別人怎麼可以操作得到資料庫，要不然那不是天下大亂了嘛。。。
㈥ python爬蟲爬下來的數據怎麼導入到MySQL
下載mysql.connector庫
然後把爬蟲爬到的數據通過mysql裡面的insert語句查到資料庫，當然也可以建表，一般我沒用python建表 是先建好再寫數據的
importmysql.connector
conn=mysql.connector.connect(
user='root',
password='root',
host='127.0.0.1',
port='3306',
database='test_demo'
)
cursor=conn.cursor()
cursor.execute("INSERTINTOtest_user(`uuid`,`user_name`,`user_level`)VALUES(%s,%s,%s)",[id,user_name,user_level])
cursor.execute("INSERTINTOtieba_user_detail(`user_name`,`user_exp`,`user_sex`,`tieba_age`,`tieba_note`,`user_favorites`,`user_fans`)VALUES(%s,%s,%s,%s,%s,%s,%s)",[user_name,user_exp,user_sex,tieba_age,tieba_note,user_favorites,user_fans])
print('**************%s%s數據保存成功**************'%(user_rank,user_name))
conn.commit()
cursor.close()
插進入就這樣的
㈦ 要將python爬蟲爬到的東西放在資料庫里，哪種 資料庫比較好
pip3 install pymysql
我的教程;http://www.cnblogs.com/TTyb/p/5823246.html
㈧ 網路爬蟲只能爬去web頁面的數據信息嗎是不是別人資料庫中的數據時沒有辦法抓取的
網路爬蟲抓取頁面信息，提取其中的鏈接，順著鏈接依次爬行，一般深度優先或者廣度優先，這樣一層一層的抓取，但是網頁上的信息可能會涉及版權，如果對方不允許爬蟲抓取，robot協議里禁止抓取，或者設置許可權為登陸狀態才可以，這些都會阻礙爬蟲抓取數據。而web頁面上的信息，其實是資料庫里的數據在網站上的體現，沒有體現出來的資料庫數據，爬蟲是無法抓取的。除非是給一個入口，這樣爬蟲從入口進去可以抓取數據。
㈨ 爬蟲數據用什麼資料庫儲存最合適
txt文件
MySQL資料庫:
xlwt表
MongoDB資料庫
這幾種都可以用來存儲爬蟲數據
㈩ 大家在爬蟲爬數據的時候都是怎麼過濾資料庫里存在的重復數據
建議的方法是找一個標識欄位，如果這個欄位重復了，則這條數據沒有插入的必要的這種欄位。設置為主鍵或者唯一鍵，那麼這個欄位重復時默認不插入