『壹』 如何用Python爬蟲抓取網頁內容
爬蟲流程
其實把網路爬蟲抽象開來看，它無外乎包含如下幾個步驟
模擬請求網頁。模擬瀏覽器，打開目標網站。
獲取數據。打開網站之後，就可以自動化的獲取我們所需要的網站數據。
保存數據。拿到數據之後，需要持久化到本地文件或者資料庫等存儲設備中。
那麼我們該如何使用 Python 來編寫自己的爬蟲程序呢，在這里我要重點介紹一個 Python 庫：Requests。
Requests 使用
Requests 庫是 Python 中發起 HTTP 請求的庫，使用非常方便簡單。
模擬發送 HTTP 請求
發送 GET 請求
當我們用瀏覽器打開豆瓣首頁時，其實發送的最原始的請求就是 GET 請求
import requests
res = requests.get('http://www.douban.com')
print(res)
print(type(res))
>>>
<Response [200]>
<class 'requests.models.Response'>
『貳』 用爬蟲從網站爬下的數據怎麼存儲
顯然不能直接儲存，你還得解析出自己需要的內容。
比如我爬取某新聞網今日的國內新聞，那麼我創建一個實體類，裡面有屬性：新聞標題，新聞時間，正文等等。解析出你需要的內容，封到實體裡面，然後在層直接save到資料庫即可
如果你爬下的是整個網頁，這個好辦，把它當做文件一樣，用流操作保存到電腦上即可。當然保存網頁會遇到編碼問題，這個很棘手。
『叄』 網路爬蟲的存儲方法――資料庫，有什麼作用
可以用來保存採集到的數據啊。
簡單來講，爬蟲就是一個探測機器，它的基本操作就是模擬人的行為去各個網站溜達，點點按鈕，查查數據，或者把看到的信息背回來。就像一隻蟲子在一幢樓里不知疲倦地爬來爬去。
『肆』 什麼是爬蟲
爬蟲通俗來說就是抓取網頁數據，比如說大家都喜歡的圖片呀、小視頻呀，還有電子書、文字評論、商品詳情等等。
只要網頁上有的，都可以通過爬蟲爬取下來。
一般而言，python爬蟲需要以下幾步：
找到需要爬取內容的網頁URL
打開該網頁的檢查頁面（即查看HTML代碼，按F12快捷鍵即可進入）
在HTML代碼中找到你要提取的數據
寫python代碼進行網頁請求、解析
存儲數據
當然會python是前提，對於小白來說自學也不是件容易的事，需要花相當的時間去適應python的語法邏輯，而且要堅持親手敲代碼，不斷練習。
如果對自己沒有自信，也可以考慮看編程課程，跟著老師的節奏去學習，能比較快地掌握python語法體系，也能得到充分的案例練習。
『伍』 Java爬蟲爬那些留郵箱的網頁,爬到郵箱存到資料庫里,應該沒事吧
這得看情況。
假如是你隨便找個人打開這個網站就能看到的信息，那自然沒有問題，畢竟人人都可見。
假如是你需要擁有一定許可權才能看到的信息，並且這個許可權可能存在利益問題，那就有點危險了，有好幾個罪名可以讓你賠錢或直接進去，具體看情況而定。
『陸』 java爬蟲實時獲取頁面數據並存入資料庫
這種是工作上的問題把。
沒給點好處很難做。
需要一個定時任務。不斷去掃這個頁面。一有更新馬上獲取。
獲取需要用到解析html標簽的jar包。
很簡單。但是不想在這浪費時間給你寫。
『柒』 爬蟲數據用什麼資料庫儲存最合適
txt文件
Mysql資料庫:
xlwt表
MongoDB資料庫
這幾種都可以用來存儲爬蟲數據
『捌』 網頁爬蟲抓回的信息，是怎樣存放在資料庫里
1、抓取、下載網頁；
2、分析網頁、找出自己想要的信息；
3、入庫
舉例：一個網頁抓取十個欄位，先分別做上標記放入緩存，然後執行sql插庫
二營長SEO
『玖』 如何使用JAVA編寫爬蟲將爬到的數據存儲到MySql資料庫
Scrapy依賴於twisted，所以如果Scrapy能用，twisted肯定是已經安裝好了。
抓取到的數據，可以直接丟到MySQL，也可以用Django的ORM模型丟到MySQL，方便Django調用。方法也很簡單，按資料庫的語句來寫就行了，在spiders目錄里定義自己的爬蟲時也可以寫進去。
當然使用pipelines.py是更通用的方法，以後修改也更加方便。你的情況，應該是沒有在Settings.py里定義pipelines，所以Scrapy不會去執行，就不會生成pyc文件了。
『拾』 怎麼用VBA或網路爬蟲程序抓取網站數據
VBA網抓常用方法
1、xmlhttp/winhttp法：
用xmlhttp/winhttp模擬向伺服器發送請求，接收伺服器返回的數據。
優點：效率高，基本無兼容性問題。
缺點：需要藉助如fiddler的工具來模擬http請求。
2、IE/webbrowser法：
創建IE控制項或webbrowser控制項，結合htmlfile對象的方法和屬性，模擬瀏覽器操作，獲取瀏覽器頁面的數據。
優點：這個方法可以模擬大部分的瀏覽器操作。所見即所得，瀏覽器能看到的數據就能用代碼獲取。
缺點：各種彈窗相當煩人，兼容性也確實是個很傷腦筋的問題。上傳文件在IE里根本無法實現。
3、QueryTables法：
因為它是excel自帶，所以勉強也算是一種方法。其實此法和xmlhttp類似，也是GET或POST方式發送請求，然後得到伺服器的response返回到單元格內。
優點：excel自帶，可以通過錄制宏得到代碼，處理table很方便
。代碼簡短，適合快速獲取一些存在於源代碼的table里的數據。
缺點：無法模擬referer等發包頭
也可以利用採集工具進行採集網頁端的數據，無需寫代碼。