A. 爬蟲怎麼學
第一步，剛觸摸Python網路爬蟲的時分肯定是先過一遍Python最基本的常識，比如說：變數、字元串、列表、字典、元組、操控句子、語法等，把根底打牢，這樣在做案例的時分不會覺得模糊。根底常識能夠參閱廖雪峰的教程，很根底，也非常易懂，關於新手能夠很快接納。此外，你還需求了解一些網路懇求的基本原理、網頁結構（如HTML、XML）等。
第二步，看視頻或許找一本專業的網路爬蟲書本（如用Python寫網路爬蟲），跟著他人的爬蟲代碼學，跟著他人的代碼敲，弄懂每一行代碼，留意務必要著手親身實踐，這樣才會學的更快，懂的更多。許多時分我們好大喜功，覺得自己這個會，然後不願意著手，其實真實比及我們著手的時分便漏洞百出了，最好每天都堅持敲代碼，找點感覺。開發東西主張選Python3，由於到2020年Python2就中止保護了，日後Python3肯定是幹流。IDE能夠選擇pycharm、sublime或jupyter等，小編引薦運用pychram，由於它非常友愛，有些相似java中的eclipse，非常智能。瀏覽器方面，學會運用 Chrome 或許 FireFox 瀏覽器去檢查元素，學會運用進行抓包。此外，在該階段，也需求了解幹流的爬蟲東西和庫，如urllib、requests、re、bs4、xpath、json等，一些常用的爬蟲結構如scrapy等是必需求把握的，這個結構仍是蠻簡略的，可能初學者覺得它很難抵擋，可是當抓取的數據量非常大的時分，你就發現她的美~~
第三步，你現已具有了爬蟲思想了，是時分自己著手，錦衣玉食了，你能夠獨立設計爬蟲體系，多找一些網站做操練。靜態網頁和動態網頁的抓取戰略和辦法需求把握，了解JS載入的網頁，了解selenium+PhantomJS模仿瀏覽器，知道json格局的數據該怎樣處理。網頁如果是POST懇求，你應該知道要傳入data參數，而且這種網頁一般是動態載入的，需求把握抓包辦法。如果想進步爬蟲功率，就得考慮是運用多線程，多進程仍是協程，仍是分布式操作。
B. python可以做前端開發嗎
可以的。python會學到web前端開發的一部分內容，是可以做前端開發的。
C. 前端js爬蟲
純粹前端的js 是不能 跨域 獲取 cookie的
xxx.com 的js 代碼 只能得到 xxx.com的cookie，拿不到 yyy.com
當然如果你有辦法 在 yyy.com 寫入受到自己控制的 html文件，你就可以寫代碼去拿到 對應的cookie，但看你的需求 應該你沒有yyy.com 的許可權
所以 要結合其他方案，推薦一下兩種：
使用 electron ，electron 你可以認為是受js控制的瀏覽器引擎，所以你可以用它訪問 yyy.com 拿到cookie，再接著做你的事情
或者 使用 puppeteer（Google 官方出品的 headless Chrome node 庫）
Puppeteer 提供了一系列的 API，可以在無 UI 的情況下調用 Chrome 的各種功能，適用於爬蟲、自動化處理等各種情景。
D. 學爬蟲需要先學前端么
有一定的前端基礎也是比較好的，如果沒有，零基礎也是可以學習的。
E. 前端可以利用ua判斷是爬蟲還是瀏覽器怎麼判斷
在php中用系統的環境的變數:$_SERVER["HTTP_USER_AGENT"];
<?php
$useragent=$_SERVER["HTTP_USER_AGENT"];
if(substr_count($useragent,"spider")){
echo "爬蟲！"；
}else{
echo "瀏覽器！"；
}
?>
F. 爬蟲小白問個不知道關於scrapy爬取json動態生成列表的問題！
對於只是讀取某幾個網站更新內容的爬蟲完全沒必要在python代碼中實現增量的功能，直接在item中增加Url欄位。 item['Url'] = response.url 然後在數據端把儲存url的column設置成unique。 之後在python代碼中捕獲資料庫commit
G. 如果網頁內容是由javascript生成的，應該怎麼實現爬蟲
用神箭手雲爬蟲，完全在雲上編寫和執行爬蟲，不需要配置任何開發環境，快速開發快速實現。
簡單幾行 javascript 就可以實現復雜的爬蟲，同時提供很多功能函數：反反爬蟲、 js 渲染、數據發布、圖表分析、反防盜鏈等，這些在開發爬蟲過程中經常會遇到的問題都由神箭手幫你解決。
H. python的主要用處就是用來寫爬蟲前端的嗎。
用python寫網路爬蟲書怎麼樣爬蟲的重點是在Python之外的。確切說是一些前端和部分後端技術（cookie之類的）以及一些HTTP協議相關知識。而對於python而言，只是獲取內容（HTTP請求）和文本處理（抓內容），基本上看倆模塊文檔看幾個框架文檔都
I. python如何學爬蟲跟前端
1：學習Python基礎知識並實現基本的爬蟲過程
一般獲取數據的過程都是按照 發送請求-獲得頁面反饋-解析並且存儲數據 這三個流程來實現的。這個過程其實就是模擬了一個人工瀏覽網頁的過程。
Python中爬蟲相關的包很多：urllib、requests、bs4、scrapy、pyspider 等，我們可以按照requests 負責連接網站，返回網頁，Xpath 用於解析網頁，便於抽取數據。
2：了解非結構化數據的存儲。
爬蟲抓取的數據結構復雜 傳統的結構化資料庫可能並不是特別適合我們使用。我們前期推薦使用MongoDB 就可以。
3： 掌握一些常用的反爬蟲技巧。
使用代理IP池、抓包、驗證碼的OCR處理等處理方式即可以解決大部分網站的反爬蟲策略。
4：了解分布式存儲
分布式這個東西，聽起來很恐怖，但其實就是利用多線程的原理讓多個爬蟲同時工作，需要你掌握 Scrapy + MongoDB + Redis 這三種工具就可以了。