『壹』 如何處理python爬蟲ip被封
如何處理python爬蟲ip被封
1、爬蟲降低訪問速度
由於上文所說的訪問速度過快會引起IP被封，那麼最直觀的辦法便是降低訪問速度，這樣就能避免了我們的IP被封的問題。只是呢，降低速度，爬蟲的效率就降低，主要還是要降低到什麼程度?
在這一點上嗎，我們首先要測試出網站設置的限制速度閾值，如此一來我們才能設置合理的訪問速度，建議不要設固定的訪問速度，可以設置在一個范圍之內，避免過於規律而被系統檢測到，從而導致IP被封。
2、爬蟲切換IP訪問
降低了訪問速度，在所難免的影響到了爬取的抓取效率，無法高效的抓取，如此一來的抓取速度與人工抓取有何區別呢?都沒有了使用爬蟲抓取的優勢了。既然單個爬蟲被控制了速度，但是我們可以使用多個爬蟲同時去抓取啊!是的，我們可以使用多線程，多進程，配合使用代理，不同的線程使用不同的IP地址，就像是同時有不同的用戶在訪問，如此一來就能大大的提高爬蟲的爬取效率了。
『貳』 如何解決爬蟲ip被封的問題
爬蟲是一種按照一定規則，自動抓取網路數據的程序或腳本，它能夠快速實現抓取、整理任務，大大節省時間成本。因為爬蟲的頻繁抓取，會對伺服器造成巨大負載，伺服器為了保護自己，自然要作出一定的限制，也就是我們常說的反爬蟲策略，來阻止爬蟲的繼續採集。
如何防止ip被限制
1.對請求Headers進行限制
這應該是最常見的，最基本的反爬蟲手段，主要是初步判斷你是不是真實的瀏覽器在操作。
這個一般很好解決，把瀏覽器中的Headers信息復制上去就OK了。
特別注意的是，很多網站只需要userAgent信息就可以通過，但是有的網站還需要驗證一些其他的信息，例如知乎，有一些頁面還需要authorization的信息。所以需要加哪些Headers，還需要嘗試，可能還需要Referer、Accept-encoding等信息。
2.對請求IP進行限制
有時我們的爬蟲在爬著，突然冒出頁面無法打開、403禁止訪問錯誤，很有可能是IP地址被網站封禁，不再接受你的任何請求。
3.對請求cookie進行限制
當爬蟲遇到登陸不了、沒法保持登錄狀態情況，請檢查你的cookie.很有可能是你爬蟲的cookie被發現了。
以上便是關於反爬蟲策略，對於這幾個方面，爬蟲要做好應對的方法，不同的網站其防禦也是不同的。
『叄』 使用爬蟲採集網站時，怎麼樣解決被封ip的問題
1.IP必須需要，，ADSL。如果有條件，其實可以跟機房多申請外網IP。
2.在有外網IP的機器上，部署代理伺服器。
3.你的程序，使用輪訓替換代理伺服器來訪問想要採集的網站。
好處：
1.程序邏輯變化小，只需要代理功能。
2.根據對方網站屏蔽規則不同，你只需要添加更多的代理就行了。
3.就算具體IP被屏蔽了，你可以直接把代理伺服器下線就OK，程序邏輯不需要變化。
方法2.
有小部分網站的防範措施比較弱，可以偽裝下IP，修改X-Forwarded-for（貌似這么拼。。。）即可繞過。
大部分網站么，如果要頻繁抓取，一般還是要多IP。我比較喜歡的解決方案是國外VPS再配多IP，通過默認網關切換來實現IP切換，比HTTP代理高效得多，估計也比多數情況下的ADSL切換更高效。
方法3.
ADSL + 腳本，監測是否被封，然後不斷切換 ip
設置查詢頻率限制
正統的做法是調用該網站提供的服務介面。
方法4.
8年多爬蟲經驗的人告訴你，國內ADSL是王道，多申請些線路，分布在多個不同的電信區局，能跨省跨市更好，自己寫好斷線重撥組件，自己寫動態IP追蹤服務，遠程硬體重置（主要針對ADSL貓，防止其宕機），其餘的任務分配，數據回收，都不是大問題。我的已經穩定運行了好幾年了，妥妥的！
方法5.
1 user agent 偽裝和輪換
2 使用代理 ip 和輪換
3 cookies 的處理，有的網站對登陸用戶政策寬鬆些
友情提示：考慮爬蟲給人家網站帶來的負擔，be a responsible crawler
方法6.
盡可能的模擬用戶行為：
1、UserAgent經常換一換；
2、訪問時間間隔設長一點，訪問時間設置為隨機數；
3、訪問頁面的順序也可以隨機著來
方法8.
網站封的依據一般是單位時間內特定IP的訪問次數.
我是將採集的任務按 目標站點的IP進行分組 通過控制每個IP 在單位時間內發出任務的個數,來避免被封.當然,這個前題是你採集很多網站.如果只是採集一個網站,那麼只能通過多外部IP的方式來實現了.
方法9.
1. 對爬蟲抓取進行壓力控制；
2. 可以考慮使用代理的方式訪問目標站點。
-降低抓取頻率，時間設置長一些，訪問時間採用隨機數
-頻繁切換UserAgent（模擬瀏覽器訪問）
-多頁面數據，隨機訪問然後抓取數據
-更換用戶IP
『肆』 為什麼做爬蟲需要大量IP地址
爬蟲被封號IP可以說是所有爬蟲工程師務必要邁過的一道坎，在爬蟲工作的過程中，經常會遇到封IP的麻煩事，究竟要如何爬才不會被封號呢？
許多人覺得往往被封IP，是由於爬取得太快了，的確是這樣。那好吧，我就一而再、再而三地放慢速度，終於不被封號了。但這速度和蝸牛沒有什麼差別了，爬蟲也失去它存在的價值！
有的人利用代理IP來做爬蟲，提高速度爬，被封號；再換一個IP，再被封號；接著換，還是被封號，總之封了一個IP，還有千千萬萬IP，工作效率終於提高了。但這種方法也有個致命的問題，上哪找這么多高效穩定的代理IP？
有的人寫了個爬蟲爬取網上的代理IP，然後篩選驗證，最後封裝在IP池裡。結果發現，這種方法效率太低，IP質量太低，當然花費的成本也最低，只不過時間成本會很高很高。代理ip是爬蟲的基礎，而高匿ip代理更是爬蟲代理的重中之重，完全馬虎不得。
『伍』 有時候進行爬蟲抓取，會被封IP，有沒有辦法更換IP
1、IP必須需要，如果有條件，建議一定要使用代理IP。
有外網IP的機器上，部署爬蟲代理伺服器。
你的程序，使用輪訓替換代理伺服器來訪問想要採集的網站。
2、ADSL+腳本，監測是否被封，然後不斷切換ip
設置查詢頻率限制正統的做法是調用該網站提供的服務介面。
3、useragent偽裝和輪換
使用代理ip和輪換
cookies的處理，有的網站對登錄用戶政策寬鬆些
4、網站封的依據一般是單位時間內特定IP的訪問次數.將採集的任務按目標站點的IP進行分組通過控制每個IP在單位時間內發出任務的個數,來避免被封.當然,這個前題採集很多網站.如果只是採集一個網站,那麼只能通過多外部IP的方式來實現了.
5、對爬蟲抓取進行壓力控制；可以考慮使用代理的方式訪問目標站點。
降低抓取頻率，時間設置長一些，訪問時間採用隨機數
頻繁切換UserAgent（模擬瀏覽器訪問）
多頁面數據，隨機訪問然後抓取數據
使用http例如IPIDEA，這是最直接有效的方法！
『陸』 更換IP有什麼好處
一開始沒有接觸過代理IP的用戶，對代理IP不太信賴，覺得是要利用換IP軟體來更改的，那麼這種IP以及自身的IP安全不能獲得保障。
事實上並不是大家想的這樣，IP代理的安全系數是特別高的，在運用過程中根本無須擔憂會出現其他的隱私信息泄露，由於運用了代理之後，用戶自身的個人IP是處在一種隱藏狀態，直接可見的IP是屬於代理伺服器的。這就是眾多用戶使用IP代理主要的一個原因，它確保了客戶隱私的安全。
1、提升網路爬蟲效率。現如今隨著工作效率的要求，不僅是運用單一的網路爬蟲，以便更好地提升網路爬蟲的效率，可以用眾多網路爬蟲進行爬取，這就必須大量的IP，還必須IP進行更改，自然不可缺少代理IP。
2、解決IP限制。現如今絕大多數網站都是有反爬蟲技術，最普遍的限制便是IP訪問次數。如果本地IP被這些網站封了，就可以用代理IP換IP後繼續網路爬蟲。
『柒』 爬蟲怎麼解決封IP
網路爬蟲為什麼被封？當中最直接的因素的就是訪問速度過快，這個不要說爬取抓取了，就算用戶自己點擊太快也是會被提示訪問頻率過快的。網路爬蟲的訪問速度若是一直都很快，而且都使用同一個IP地址訪問，這是很快IP便會被封的。
面對這個問題，網路爬蟲通常是怎麼處理的呢？不外乎是兩類方法，首位降低訪問速度，其次切換IP訪問。
爬蟲降低訪問速度
鑒於上文所指的訪問速度過快會引起IP被封，那麼最直接的辦法就是降低訪問速度，這樣就能防止了我們的IP被封的問題。但呢，降低速度，爬蟲的效率就降低，關鍵還是要降低到什麼程度？
在這一點上，我們首先要檢測出網站設置的限制速度閾值，這樣我們才可以設置合理的訪問速度，建議不要設固定的訪問速度，可以設置在一個范圍之內，預防過於規律而被系統檢測到，進而導致IP被封。
爬蟲切換IP訪問
降低了訪問速度，在所難免的影響到了爬取的抓取效率，無法高效的抓取，這樣的抓取速度與人工抓取有什麼區別呢？都沒有了使用爬蟲抓取的優勢了。
即然單個爬蟲被控制了速度，但我們可以使用多個爬蟲同時去抓取啊！是的，我們可以使用多線程，多進程，這里要配合使用代理，不一樣的線程使用不同的IP地址，就好像同時有不同的用戶在訪問，這樣就能極大地提高爬蟲的爬取效率了。
『捌』 python 爬蟲ip被封鎖怎麼辦
1. 檢查cookies
當出現無法保持登陸狀態或者直接無法登陸站點的情況時，可以先去對cookies進行檢查，這種情況有可能是cookies出現問題所導致的。
2. 檢查JavaScript
當站點頁面缺少信息或出現空白時，可以去檢查網站創建頁面的JavaScript。
3. 更換IP地址
如果出現403forbidden或者頁面無法打開的問題，那麼就很有可能是IP已經被站點伺服器所封禁，遇到這種情況就需要更換自己的IP地址，目前來說最為方便的就是使用代理IP，例如IPIDEA，可以隨時更換新的IP地址來確保爬蟲的工作效率。