❶ 爬蟲怎麼學
第一步，剛觸摸Python網路爬蟲的時分肯定是先過一遍Python最基本的常識，比如說：變數、字元串、列表、字典、元組、操控句子、語法等，把根底打牢，這樣在做案例的時分不會覺得模糊。根底常識能夠參閱廖雪峰的教程，很根底，也非常易懂，關於新手能夠很快接納。此外，你還需求了解一些網路懇求的基本原理、網頁結構（如HTML、XML）等。
第二步，看視頻或許找一本專業的網路爬蟲書本（如用Python寫網路爬蟲），跟著他人的爬蟲代碼學，跟著他人的代碼敲，弄懂每一行代碼，留意務必要著手親身實踐，這樣才會學的更快，懂的更多。許多時分我們好大喜功，覺得自己這個會，然後不願意著手，其實真實比及我們著手的時分便漏洞百出了，最好每天都堅持敲代碼，找點感覺。開發東西主張選Python3，由於到2020年Python2就中止保護了，日後Python3肯定是幹流。IDE能夠選擇pycharm、sublime或jupyter等，小編引薦運用pychram，由於它非常友愛，有些相似java中的eclipse，非常智能。瀏覽器方面，學會運用 Chrome 或許 FireFox 瀏覽器去檢查元素，學會運用進行抓包。此外，在該階段，也需求了解幹流的爬蟲東西和庫，如urllib、requests、re、bs4、xpath、json等，一些常用的爬蟲結構如scrapy等是必需求把握的，這個結構仍是蠻簡略的，可能初學者覺得它很難抵擋，可是當抓取的數據量非常大的時分，你就發現她的美~~
第三步，你現已具有了爬蟲思想了，是時分自己著手，錦衣玉食了，你能夠獨立設計爬蟲體系，多找一些網站做操練。靜態網頁和動態網頁的抓取戰略和辦法需求把握，了解JS載入的網頁，了解selenium+PhantomJS模仿瀏覽器，知道json格局的數據該怎樣處理。網頁如果是POST懇求，你應該知道要傳入data參數，而且這種網頁一般是動態載入的，需求把握抓包辦法。如果想進步爬蟲功率，就得考慮是運用多線程，多進程仍是協程，仍是分布式操作。
❷ 現在的網路爬蟲的研究成果和存在的問題有哪些
網路爬蟲是Spider（或Robots、Crawler）等詞的意譯，是一種高效的信息抓取工具，它集成了搜索引擎技術，並通過技術手段進行優化，用以從互聯網搜索、抓取並保存任何通過HTML（超文本標記語言）進行標准化的網頁信息。
其作用機理是：發送請求給互聯網特定站點，在建立連接後與該站點交互，獲取HTML格式的信息，隨後轉移到下一個站點，並重復以上流程。通過這種自動化的工作機制，將目標數據保存在本地數據中，以供使用。網路爬蟲在訪問一個超文本鏈接時，可以從HTML標簽中自動獲取指向其他網頁的地址信息，因而可以自動實現高效、標准化的信息獲取。
隨著互聯網在人類經濟社會中的應用日益廣泛，其所涵蓋的信息規模呈指數增長，信息的形式和分布具有多樣化、全球化特徵，傳統搜索引擎技術已經無法滿足日益精細化、專業化的信息獲取和加工需求，正面臨著巨大的挑戰。網路爬蟲自誕生以來，就發展迅猛，並成為信息技術領域的主要研究熱點。當前，主流的網路爬蟲搜索策略有如下幾種。
>>>>
深度優先搜索策略
早期的爬蟲開發採用較多的搜索策略是以深度優先的，即在一個HTML文件中，挑選其中一個超鏈接標簽進行深度搜索，直至遍歷這條超鏈接到最底層時，由邏輯運算判斷本層搜索結束，隨後退出本層循環，返回上層循環並開始搜索其他的超鏈接標簽，直至初始文件內的超鏈接被遍歷。
深度優先搜索策略的優點是可以將一個Web站點的所有信息全部搜索，對嵌套較深的文檔集尤其適用；而缺點是在數據結構日益復雜的情況下，站點的縱向層級會無限增加且不同層級之間會出現交叉引用，會發生無限循環的情況，只有強行關閉程序才能退出遍歷，而得到的信息由於大量的重復和冗餘，質量很難保證。
>>>>
寬度優先搜索策略
與深度優先搜索策略相對應的是寬度優先搜索策略，其作用機理是從頂層向底層開始循環，先就一級頁面中的所有超鏈接進行搜索，完成一級頁面遍歷後再開始二級頁面的搜索循環，直到底層為止。當某一層中的所有超鏈接都被選擇過，才會基於該層信息檢索過程中所獲得的下一級超鏈接（並將其作為種子）開始新的一輪檢索，優先處理淺層的鏈接。
這種模式的一個優點是：無論搜索對象的縱向結構層級有多麼復雜，都會極大程度上避免死循環；另一個優勢則在於，它擁有特定的演算法，可以找到兩個HTML文件間最短的路徑。一般來講，我們期望爬蟲所具有的大多數功能目前均可以採用寬度優先搜索策略較容易的實現，所以它被認為是最優的。
但其缺點是：由於大量時間被耗費，寬度優先搜索策略則不太適用於要遍歷特定站點和HTML文件深層嵌套的情況。
>>>>
聚焦搜索策略
與深度優先和寬度優先不同，聚焦搜索策略是根據「匹配優先原則」對數據源進行訪問，基於特定的匹配演算法，主動選擇與需求主題相關的數據文檔，並限定優先順序，據以指導後續的數據抓取。
這類聚焦爬蟲針對所訪問任何頁面中的超鏈接都會判定一個優先順序評分，根據評分情況將該鏈接插入循環隊列，此策略能夠幫助爬蟲優先跟蹤潛在匹配程度更高的頁面，直至獲取足夠數量和質量的目標信息。不難看出，聚焦爬蟲搜索策略主要在於優先順序評分模型的設計，亦即如何區分鏈接的價值，不同的評分模型針對同一鏈接會給出不同的評分，也就直接影響到信息搜集的效率和質量。
同樣機制下，針對超鏈接標簽的評分模型自然可以擴展到針對HTML頁面的評價中，因為每一個網頁都是由大量超鏈接標簽所構成的，一般看來，鏈接價值越高，其所在頁面的價值也越高，這就為搜索引擎的搜索專業化和應用廣泛化提供了理論和技術支撐。當前，常見的聚焦搜索策略包括基於「鞏固學習」和「語境圖」兩種。
從應用程度來看，當前國內主流搜索平台主要採用的是寬度優先搜索策略，主要是考慮到國內網路系統中信息的縱向價值密度較低，而橫向價值密度較高。但是這樣會明顯地遺漏到一些引用率較小的網路文檔，並且寬度優先搜索策略的橫向價值富集效應，會導致這些鏈接量少的信息源被無限制的忽略下去。
而在此基礎上補充採用線性搜索策略則會緩解這種狀況，不斷引入更新的數據信息到已有的數據倉庫中，通過多輪的價值判斷去決定是否繼續保存該信息，而不是「簡單粗暴」地遺漏下去，將新的信息阻滯在密閉循環之外。
>>>>
網頁數據動態化
傳統的網路爬蟲技術主要局限於對靜態頁面信息的抓取，模式相對單一，而近年來，隨著Web2.0/AJAX等技術成為主流，動態頁面由於具有強大的交互能力，成為網路信息傳播的主流，並已取代了靜態頁面成為了主流。AJAX採用了JavaScript驅動的非同步(非同步)請求和響應機制，在不經過網頁整體刷新的情況下持續進行數據更新，而傳統爬蟲技術缺乏對JavaScript語義的介面和交互能力，難以觸發動態無刷新頁面的非同步調用機制並解析返回的數據內容，無法保存所需信息。
此外，諸如JQuery等封裝了JavaScript的各類前端框架會對DOM結構進行大量調整，甚至網頁上的主要動態內容均不必在首次建立請求時就以靜態標簽的形式從伺服器端發送到客戶端，而是不斷對用戶的操作進行回應並通過非同步調用的機制動態繪制出來。這種模式一方面極大地優化了用戶體驗，另一方面很大程度上減輕了伺服器的交互負擔，但卻對習慣了DOM結構（相對不變的靜態頁面）的爬蟲程序提出了巨大挑戰。
傳統爬蟲程序主要基於「協議驅動」，而在互聯網2.0時代，基於AJAX的動態交互技術環境下，爬蟲引擎必須依賴「事件驅動」才有可能獲得數據伺服器源源不斷的數據反饋。而要實現事件驅動，爬蟲程序必須解決三項技術問題：第一，JavaScript的交互分析和解釋；第二，DOM事件的處理和解釋分發；第三，動態DOM內容語義的抽取。
前嗅的ForeSpider數據採集系統全方位支持各種動態網站，大部分網站通過可視化的操作就可以獲取。對於反爬蟲機制嚴格的網站，通過ForeSpider內部的腳本語言系統，通過簡單的腳本語言，就可以輕松獲取。
>>>>
數據採集分布化
分布式爬蟲系統是在計算機集群之上運轉的爬蟲系統，集群每一個節點上運行的爬蟲程序與集中式爬蟲系統的工作原理相同，所不同的是分布式需要協調不同計算機之間的任務分工、資源分配、信息整合。分布式爬蟲系統的某一台計算機終端中植入了一個主節點，並通過它來調用本地的集中式爬蟲進行工作，在此基礎上，不同節點之間的信息交互就顯得十分重要，所以決定分布式爬蟲系統成功與否的關鍵在於能否設計和實現任務的協同。
此外，底層的硬體通信網路也十分重要。由於可以採用多節點抓取網頁，並能夠實現動態的資源分配，因此就搜索效率而言，分布式爬蟲系統遠高於集中式爬蟲系統。
經過不斷的演化，各類分布式爬蟲系統在系統構成上各具特色，工作機制與存儲結構不斷推陳出新，但主流的分布式爬蟲系統普遍運用了「主從結合」的內部構成，也就是由一個主節點通過任務分工、資源分配、信息整合來掌控其他從節點進行信息抓取。
在工作方式上，基於雲平台的廉價和高效特點，分布式爬蟲系統廣泛採用雲計算方式來降低成本，大規模降低軟硬體平台構建所需要的成本投入。在存儲方式方面，當前比較流行的是分布式信息存儲，即將文件存儲在分布式的網路系統上，這樣管理多個節點上的數據更加方便。通常情況下使用的分布式文件系統為基於Hadoop的HDFS系統。
目前市場上的可視化通用性爬蟲，大都犧牲了性能去換取簡易的可視化操作。但前嗅的ForeSpider爬蟲不是。ForeSpider採用C++編程，普通台式機日採集量超過500萬條/天，伺服器超過4000萬條/天。是市場上其他可視化爬蟲的10倍以上。同時，ForeSpider內嵌前嗅自主研發的ForeLib資料庫，免費的同時支持千萬量級以上的數據存儲。
>>>>
通用型和主題型網路爬蟲
依據採集目標的類型，網路爬蟲可以歸納為「通用型網路爬蟲」和「主題型網路爬蟲」兩種。
通用型網路爬蟲側重於採集更大的數據規模和更寬的數據范圍，並不考慮網頁採集的順序和目標網頁的主題匹配情況。在當前網路信息規模呈現指數增長的背景下，通用型網路爬蟲的使用受到信息採集速度、信息價值密度、信息專業程度的限制。
為緩解這種狀況，主題型網路爬蟲誕生了。不同於通用型網路爬蟲，主題型網路爬蟲更專注採集目標與網頁信息的匹配程度，避免無關的冗餘信息，這一篩選過程是動態的，貫穿於主題型網路爬蟲技術的整個工作流程。
目前市面上的通用性爬蟲的採集能力有限，採集能力不高，網頁結構復雜的頁面無法採集。前嗅ForeSpider爬蟲是通用型的網路爬蟲，可以採集幾乎100%的網頁，並且內部支持可視化篩選、正則表達式、腳本等多種篩選，可以100%過濾無關冗餘內容，按條件篩選內容。相對主題型爬蟲只能採集一類網站而言，通用型的爬蟲有著更強的採集范圍，更加經濟合理。
❸ 前端js爬蟲
純粹前端的js 是不能 跨域 獲取 cookie的
xxx.com 的js 代碼 只能得到 xxx.com的cookie，拿不到 yyy.com
當然如果你有辦法 在 yyy.com 寫入受到自己控制的 html文件，你就可以寫代碼去拿到 對應的cookie，但看你的需求 應該你沒有yyy.com 的許可權
所以 要結合其他方案，推薦一下兩種：
使用 electron ，electron 你可以認為是受js控制的瀏覽器引擎，所以你可以用它訪問 yyy.com 拿到cookie，再接著做你的事情
或者 使用 puppeteer（Google 官方出品的 headless Chrome node 庫）
Puppeteer 提供了一系列的 API，可以在無 UI 的情況下調用 Chrome 的各種功能，適用於爬蟲、自動化處理等各種情景。
❹ 網路爬蟲是什麼
網路爬蟲（又被稱為網頁蜘蛛，網路機器人，在FOAF社區中間，更經常的稱為網頁追逐者），是一種按照一定的規則，自動地抓取萬維網信息的程序或者腳本。另外一些不常使用的名字還有螞蟻、自動索引、模擬程序或者蠕蟲。
中文名
網路爬蟲
外文名
web crawler
別稱
網路蜘蛛
目的
按要求獲取萬維網信息
產生背景
隨著網路的迅速發展，萬維網成為大量信息的載體，如何有效地提取並利用這些信息成為一個巨大的挑戰。搜索引擎(Search Engine)，例如傳統的通用搜索引擎AltaVista，Yahoo!和Google等，作為一個輔助人們檢索信息的工具成為用戶訪問萬維網的入口和指南。但是，這些通用性搜索引擎也存在著一定的局限性，如：
(1)不同領域、不同背景的用戶往往具有不同的檢索目的和需求，通用搜索引擎所返回的結果包含大量用戶不關心的網頁。
(2)通用搜索引擎的目標是盡可能大的網路覆蓋率，有限的搜索引擎伺服器資源與無限的網路數據資源之間的矛盾將進一步加深。
(3)萬維網數據形式的豐富和網路技術的不斷發展，圖片、資料庫、音頻、視頻多媒體等不同數據大量出現，通用搜索引擎往往對這些信息含量密集且具有一定結構的數據無能為力，不能很好地發現和獲取。
(4)通用搜索引擎大多提供基於關鍵字的檢索，難以支持根據語義信息提出的查詢。
❺ 入門Python爬蟲需要掌握哪些技能和知識點
Python在爬蟲方面用得比較多，所以你如果能掌握以下內容，找工作的時候就會順利很多：
1、python不是唯一可以做爬蟲的，很多語言都可以，尤其是 java,同時掌握它們和擁有相關開發經驗是很重要的加分項;
2、大部分的公司都要求爬蟲技術有一定的深度和廣度，深度就是類似反反爬、加密破解、驗證登錄等等技術;廣度就是分布式、雲計算等，都是加分項;
3、爬蟲，不是抓取到數據就完事了，如果有數據抽取、清洗、消重等方面經驗，也是加分項;
4、一般公司都會有自己的爬蟲系統，而新進員工除了跟著學習以外常做的工作就是維護爬蟲系統，這點要有了解;
5、還有一個加分項就是前端知識，尤其是常用的 js、ajax、html/xhtml、css 等相關技術為佳，其中 js 代碼的熟悉是很重要的;
6、補充一條，隨著手持設備的市場佔比越來越高，app 的數據採集、抓包工具的熟練使用會越來越重要。
以上內容，不要求全部掌握，但是掌握得越多，那麼你的重要性就越高。
❻ python的主要用處就是用來寫爬蟲前端的嗎。
用python寫網路爬蟲書怎麼樣爬蟲的重點是在Python之外的。確切說是一些前端和部分後端技術（cookie之類的）以及一些HTTP協議相關知識。而對於python而言，只是獲取內容（HTTP請求）和文本處理（抓內容），基本上看倆模塊文檔看幾個框架文檔都
❼ 爬蟲是什麼
網路爬蟲又稱網路蜘蛛、網路螞蟻、網路機器人等，可以自動化瀏覽網路中的信息，當然瀏覽信息的時候需要按照我們制定的規則進行，這些規則我們稱之為網路爬蟲演算法。使用Python可以很方便地編寫出爬蟲程序，進行互聯網信息的自動化檢索。
❽ python如何學爬蟲跟前端
1：學習Python基礎知識並實現基本的爬蟲過程
一般獲取數據的過程都是按照 發送請求-獲得頁面反饋-解析並且存儲數據 這三個流程來實現的。這個過程其實就是模擬了一個人工瀏覽網頁的過程。
Python中爬蟲相關的包很多：urllib、requests、bs4、scrapy、pyspider 等，我們可以按照requests 負責連接網站，返回網頁，Xpath 用於解析網頁，便於抽取數據。
2：了解非結構化數據的存儲。
爬蟲抓取的數據結構復雜 傳統的結構化資料庫可能並不是特別適合我們使用。我們前期推薦使用MongoDB 就可以。
3： 掌握一些常用的反爬蟲技巧。
使用代理IP池、抓包、驗證碼的OCR處理等處理方式即可以解決大部分網站的反爬蟲策略。
4：了解分布式存儲
分布式這個東西，聽起來很恐怖，但其實就是利用多線程的原理讓多個爬蟲同時工作，需要你掌握 Scrapy + MongoDB + Redis 這三種工具就可以了。
❾ Python爬蟲可以爬取什麼
Python爬蟲可以爬取的東西有很多，Python爬蟲怎麼學？簡單的分析下：
如果你仔細觀察，就不難發現，懂爬蟲、學習爬蟲的人越來越多，一方面，互聯網可以獲取的數據越來越多，另一方面，像 Python這樣的編程語言提供越來越多的優秀工具，讓爬蟲變得簡單、容易上手。
利用爬蟲我們可以獲取大量的價值數據，從而獲得感性認識中不能得到的信息，比如：
知乎：爬取優質答案，為你篩選出各話題下最優質的內容。
淘寶、京東：抓取商品、評論及銷量數據，對各種商品及用戶的消費場景進行分析。
安居客、鏈家：抓取房產買賣及租售信息，分析房價變化趨勢、做不同區域的房價分析。
拉勾網、智聯：爬取各類職位信息，分析各行業人才需求情況及薪資水平。
雪球網：抓取雪球高回報用戶的行為，對股票市場進行分析和預測。
爬蟲是入門Python最好的方式，沒有之一。Python有很多應用的方向，比如後台開發、web開發、科學計算等等，但爬蟲對於初學者而言更友好，原理簡單，幾行代碼就能實現基本的爬蟲，學習的過程更加平滑，你能體會更大的成就感。
掌握基本的爬蟲後，你再去學習Python數據分析、web開發甚至機器學習，都會更得心應手。因為這個過程中，Python基本語法、庫的使用，以及如何查找文檔你都非常熟悉了。
對於小白來說，爬蟲可能是一件非常復雜、技術門檻很高的事情。比如有人認為學爬蟲必須精通 Python，然後哼哧哼哧系統學習 Python 的每個知識點，很久之後發現仍然爬不了數據；有的人則認為先要掌握網頁的知識，遂開始 HTMLCSS，結果入了前端的坑，瘁……
但掌握正確的方法，在短時間內做到能夠爬取主流網站的數據，其實非常容易實現，但建議你從一開始就要有一個具體的目標。
在目標的驅動下，你的學習才會更加精準和高效。那些所有你認為必須的前置知識，都是可以在完成目標的過程中學到的。這里給你一條平滑的、零基礎快速入門的學習路徑。
1.學習 Python 包並實現基本的爬蟲過程
2.了解非結構化數據的存儲
3.學習scrapy，搭建工程化爬蟲
4.學習資料庫知識，應對大規模數據存儲與提取
5.掌握各種技巧，應對特殊網站的反爬措施
6.分布式爬蟲，實現大規模並發採集，提升效率
一
學習 Python 包並實現基本的爬蟲過程
大部分爬蟲都是按「發送請求——獲得頁面——解析頁面——抽取並儲存內容」這樣的流程來進行，這其實也是模擬了我們使用瀏覽器獲取網頁信息的過程。
Python中爬蟲相關的包很多：urllib、requests、bs4、scrapy、pyspider 等，建議從requests+Xpath 開始，requests 負責連接網站，返回網頁，Xpath 用於解析網頁，便於抽取數據。
如果你用過 BeautifulSoup，會發現 Xpath 要省事不少，一層一層檢查元素代碼的工作，全都省略了。這樣下來基本套路都差不多，一般的靜態網站根本不在話下，豆瓣、糗事網路、騰訊新聞等基本上都可以上手了。
當然如果你需要爬取非同步載入的網站，可以學習瀏覽器抓包分析真實請求或者學習Selenium來實現自動化，這樣，知乎、時光網、貓途鷹這些動態的網站也可以迎刃而解。
二
了解非結構化數據的存儲
爬回來的數據可以直接用文檔形式存在本地，也可以存入資料庫中。
開始數據量不大的時候，你可以直接通過 Python 的語法或 pandas 的方法將數據存為csv這樣的文件。
當然你可能發現爬回來的數據並不是干凈的，可能會有缺失、錯誤等等，你還需要對數據進行清洗，可以學習 pandas 包的基本用法來做數據的預處理，得到更干凈的數據。
三
學習 scrapy，搭建工程化的爬蟲
掌握前面的技術一般量級的數據和代碼基本沒有問題了，但是在遇到非常復雜的情況，可能仍然會力不從心，這個時候，強大的 scrapy 框架就非常有用了。
scrapy 是一個功能非常強大的爬蟲框架，它不僅能便捷地構建request，還有強大的 selector 能夠方便地解析 response，然而它最讓人驚喜的還是它超高的性能，讓你可以將爬蟲工程化、模塊化。
學會 scrapy，你可以自己去搭建一些爬蟲框架，你就基本具備爬蟲工程師的思維了。
四
學習資料庫基礎，應對大規模數據存儲
爬回來的數據量小的時候，你可以用文檔的形式來存儲，一旦數據量大了，這就有點行不通了。所以掌握一種資料庫是必須的，學習目前比較主流的 MongoDB 就OK。
MongoDB 可以方便你去存儲一些非結構化的數據，比如各種評論的文本，圖片的鏈接等等。你也可以利用PyMongo，更方便地在Python中操作MongoDB。
因為這里要用到的資料庫知識其實非常簡單，主要是數據如何入庫、如何進行提取，在需要的時候再學習就行。
五
掌握各種技巧，應對特殊網站的反爬措施
當然，爬蟲過程中也會經歷一些絕望啊，比如被網站封IP、比如各種奇怪的驗證碼、userAgent訪問限制、各種動態載入等等。
遇到這些反爬蟲的手段，當然還需要一些高級的技巧來應對，常規的比如訪問頻率控制、使用代理IP池、抓包、驗證碼的OCR處理等等。
往往網站在高效開發和反爬蟲之間會偏向前者，這也為爬蟲提供了空間，掌握這些應對反爬蟲的技巧，絕大部分的網站已經難不到你了.
六
分布式爬蟲，實現大規模並發採集
爬取基本數據已經不是問題了，你的瓶頸會集中到爬取海量數據的效率。這個時候，相信你會很自然地接觸到一個很厲害的名字：分布式爬蟲。
分布式這個東西，聽起來很恐怖，但其實就是利用多線程的原理讓多個爬蟲同時工作，需要你掌握 Scrapy + MongoDB + Redis 這三種工具。
Scrapy 前面我們說過了，用於做基本的頁面爬取，MongoDB 用於存儲爬取的數據，Redis 則用來存儲要爬取的網頁隊列，也就是任務隊列。
所以有些東西看起來很嚇人，但其實分解開來，也不過如此。當你能夠寫分布式的爬蟲的時候，那麼你可以去嘗試打造一些基本的爬蟲架構了，實現一些更加自動化的數據獲取。
你看，這一條學習路徑下來，你已然可以成為老司機了，非常的順暢。所以在一開始的時候，盡量不要系統地去啃一些東西，找一個實際的項目（開始可以從豆瓣、小豬這種簡單的入手），直接開始就好。
因為爬蟲這種技術，既不需要你系統地精通一門語言，也不需要多麼高深的資料庫技術，高效的姿勢就是從實際的項目中去學習這些零散的知識點，你能保證每次學到的都是最需要的那部分。
當然唯一麻煩的是，在具體的問題中，如何找到具體需要的那部分學習資源、如何篩選和甄別，是很多初學者面臨的一個大問題。
以上就是我的回答，希望對你有所幫助，望採納。
❿ 網路爬蟲是什麼具體要學哪些內容
簡單來講，爬蟲就是一個探測機器，它的基本操作就是模擬人的行為去各個網站溜達，點點按鈕，查查數據，或者把看到的信息背回來。就像一隻蟲子在一幢樓里不知疲倦地爬來爬去。
你可以簡單地想像：每個爬蟲都是你的「分身」。就像孫悟空拔了一撮汗毛，吹出一堆猴子一樣。
你每天使用的網路，其實就是利用了這種爬蟲技術：每天放出無數爬蟲到各個網站，把他們的信息抓回來，然後化好淡妝排著小隊等你來檢索。
搶票軟體，就相當於撒出去無數個分身，每一個分身都幫助你不斷刷新 12306 網站的火車余票。一旦發現有票，就馬上拍下來，然後對你喊：土豪快來付款。
那麼，像這樣的爬蟲技術一旦被用來作惡有多可怕呢？
正好在上周末，一位黑客盆友御風神秘兮兮地給我發來一份《中國爬蟲圖鑒》，這哥們在騰訊雲鼎實驗室主要負責加班，順便和同事們開發了很多黑科技。比如他們搞了一個威脅情報系統，號稱能探測到全世界的「爬蟲」都在做什麼。
我吹著口哨打開《圖鑒》，但一分鍾以後，我整個人都不好了。
我看到了另一個「平行世界」：
就在我們身邊的網路上，已經密密麻麻爬滿了各種網路爬蟲，它們善惡不同，各懷心思。而越是每個人切身利益所在的地方，就越是爬滿了爬蟲。
看到最後，我發現這哪裡是《中國爬蟲圖鑒》，這分明是一份《中國焦慮圖鑒》。
這是爬蟲經常光顧的微博地址。