A. 學習Python爬蟲和Web應該看哪些書籍
看書是基礎，除此之外還有學習路線，該怎麼學習，跟著路線來學的話，更加有效果。
第一階段—Python基礎准備：本階段主要是學習Python零基礎入門學習視頻教程，html+css、javascript、jquery、python編程基礎、python初探等，讓你輕松入門python語言。
第二階段—Python Web開發: 本階段是主要Python開發基礎知識的講解，通過系統學習mysql資料庫、django、ajax、Tornado入門、個人博客系統實戰等相關技術，全面掌握python基礎開發技能技巧。
第三階段—Python擴展開發：本階段Python
開發進階，主要是Python開發實戰講解，針對有一定Python開發基礎學員，從Tkinter桌面編程、Python開發跨平台的記事本、編程實
戰、python爬蟲、論壇項目實戰等方面深入講解，讓學員快速精通python開發語言。
第四階段—Python開發選修：本節階段是Python開發的一個拓展講解，主要是Linux系統、Flask框架、redis框架、node.js框架、html5+css3等相關系統和框架及技術方面的結合使用學習，讓精通python開發的你，技藝更加精湛。
B. 我現在在學Python，基礎完了我是轉爬蟲還是web
Web和爬蟲不矛盾
兩個的知識對對方都有幫助，不要猶豫，挑准一個深入研究下去，另外一個自然就回了
C. 學Python做web還是爬蟲未來那個發展比較好
光會一種待遇不好，要定位全棧。
D. 如何通過web的方式開發配置，並調度監控自己的爬蟲
果有資金專門做這塊的話，市面上已經存在火車頭、八爪魚 這樣的抓取軟體，小白用戶用的還是不錯的。
但是如果要對所有的爬蟲進行統一管理和部署的話，需要有一個通用的框架，類似 Hadoop中 確定了 map和rece的介面，在裡面實現所有的抓取操作，對於任務的分配，如果是java的話，就需要提交jar包之類的。
另外是心跳機制，如何確定一個爬蟲在按照既有的規則在執行，別當了之後還不知道，這個時候心跳中就可以存儲 當前抓取的數據量、異常數、當前程序運行時間等。這個可以通過監測管理頁面來展示等。
另外就是如果是抓取同類別的爬蟲，比如新聞類 這個通用框架是沒有問題的，但是在抓取特定數據的時候 比如 企業信息、旅遊數據等 這些都不按規則套路出牌，如果硬要套框架的話 就得不償失了，反不如直接寫代碼來的順手，畢竟網路採集 關注的是獲取的數據，而不是獲取的方式。
E. java開源web爬蟲哪個好用
Lucene+nutch+heritrix網上可以找得到源代碼，開源的搜索引擎，包含爬蟲、檢索等功能。 Heritrix是一個爬蟲框架，可加如入一些可互換的組件。 它的執行是遞歸進行的，主要有以下幾步： 1。在預定的URI中選擇一個。 2。獲取URI 3。
F. 怎麼識別自動化的Web爬蟲
爬蟲身份識別
網路爬蟲通過使用http請求的用戶代理(User Agent)欄位來向網路伺服器表明他們的身份。網路管理員則通過檢查網路伺服器的日誌，使用用戶代理欄位來辨認哪一個爬蟲曾經訪問過以及它訪問的頻率。用戶代理欄位可能會包含一個可以讓管理員獲取爬蟲更多信息的URL。郵件抓取器和其他懷有惡意的網路爬蟲通常不會留任何的用戶代理欄位內容，或者他們也會將他們的身份偽裝成瀏覽器或者其他的知名爬蟲。對於網路爬蟲，留下用戶標志信息是十分重要的；這樣，網路管理員在需要的時候就可以聯系爬蟲的主人。有時，爬蟲可能會陷入爬蟲陷阱或者使一個伺服器超負荷，這時，爬蟲主人需要使爬蟲停止。對那些有興趣了解特定爬蟲訪問時間網路管理員來講，用戶標識信息是十分重要的
G. java開源web爬蟲哪個好用
Lucene+nutch+heritrix網上可以找得到源代碼，開源的搜索引擎，包含爬蟲、檢索等功能。
Heritrix是一個爬蟲框架，可加如入一些可互換的組件。 它的執行是遞歸進行的，主要有以下幾步： 1。在預定的URI中選擇一個。 2。獲取URI 3。分析，歸檔結果 4。選擇已經發現的感興趣的URI。加入預定隊列。 5。標記已經處理過的URI 是IA的開放源代碼，可擴展的，基於整個Web的，歸檔網路爬蟲工程 Heritrix工程始於2003年初，IA的目的是開發一個特殊的爬蟲，對網上的 資源進行歸檔，建立網路數字圖書館，在過去的6年裡，IA已經建立了400TB的數據。 最新版本:heritrix-1.15.4 IA期望他們的crawler包含以下幾種： 寬頻爬蟲：能夠以更高的帶寬去站點爬。 主題爬蟲：集中於被選擇的問題。 持續爬蟲：不僅僅爬更當前的網頁還負責爬日後更新的網頁。 實驗爬蟲：對爬蟲技術進行實驗，以決定該爬什麼，以及對不同協議的爬蟲 爬行結果進行分析的。 Heritrix的主頁是http://crawler.archive.org Heritrix是一個爬蟲框架，可加如入一些可互換的組件。 它的執行是遞歸進行的，主要有以下幾步： 1。在預定的URI中選擇一個。 2。獲取URI 3。分析，歸檔結果 4。選擇已經發現的感興趣的URI。加入預定隊列。 5。標記已經處理過的URI
[編輯本段]部件
主要部件
Heritrix主要有三大部件：范圍部件，邊界部件，處理器鏈 范圍部件：主要按照規則決定將哪個URI入隊。 邊界部件：跟蹤哪個預定的URI將被收集，和已經被收集的URI，選擇下一個 URI，剔除已經處理過的URI。 處理器鏈：包含若干處理器獲取URI，分析結果，將它們傳回給邊界部件
其餘部件
WEB管理控制台：大多數都是單機的WEB應用，內嵌JAVA HTTP 伺服器。 操作者可以通過選擇Crawler命令來操作控制台。 Crawler命令處理部件：包含足夠的信息創建要爬的URI。 Servercache（處理器緩存）：存放伺服器的持久信息，能夠被爬行部件隨時查到，包括IP地址，歷史記錄，機器人策略。 處理器鏈： 預取鏈：主要是做一些准備工作，例如，對處理進行延遲和重新處理，否決隨後的操作。 提取鏈：主要是獲得資源，進行DNS轉換，填寫請求和響應表單 抽取鏈：當提取完成時，抽取感興趣的HTML，JavaScript，通常那裡有新的也適合的URI，此時URI僅僅被發現，不會被評估 寫鏈：存儲爬行結果，返回內容和抽取特性，過濾完存儲。 提交鏈：做最後的維護，例如，測試那些不在范圍內的，提交給邊界部件
[編輯本段]關鍵特性
Heritrix 1.0.0包含以下關鍵特性： 1.用單個爬蟲在多個獨立的站點一直不斷的進行遞歸的爬。 2。從一個提供的種子進行爬，收集站點內的精確URI，和精確主機。 3。主要是用廣度優先演算法進行處理。 4。主要部件都是高效的可擴展的 5。良好的配置，包括： a。可設置輸出日誌，歸檔文件和臨時文件的位置 b。可設置下載的最大位元組，最大數量的下載文檔，和最大的下載時間。 c。可設置工作線程數量。 d。可設置所利用的帶寬的上界。 e。可在設置之後一定時間重新選擇。 f。包含一些可設置的過濾機制，表達方式，URI路徑深度選擇等等。 Heritrix的局限： 1。單實例的爬蟲，之間不能進行合作。 2。在有限的機器資源的情況下，卻要復雜的操作。 3。只有官方支持，僅僅在Linux上進行了測試。 4。每個爬蟲是單獨進行工作的，沒有對更新進行修訂。 5。在硬體和系統失敗時，恢復能力很差。
H. web和Python哪個好
他們兩個不屬於同一個概念，web屬於產品，而python是語言，可以用python來寫web。Python是目前比較火的，而且市場需求量也是比較高的，相對於就業薪資也是比較高的，現在進入是非常好的時機。
I. WEB 爬蟲 是什麼
http://googlechinablog.com/2006/05/web-crawlers.html
數學之美系列六 -- 圖論和網路爬蟲 (Web Crawlers)
2006年5月15日 上午 07:15:00
發表者: 吳軍，Google 研究員
[離散數學是當代數學的一個重要分支，也是計算機科學的數學基礎。它包括數理邏輯、集合論、圖論和近世代數四個分支。數理邏輯基於布爾運算，我們已經介紹過了。這里我們介紹圖論和互聯網自動下載工具網路爬蟲 (Web Crawlers) 之間的關系。順便提一句，我們用 Google Trends 來搜索一下「離散數學」這個詞，可以發現不少有趣的現象。比如，武漢、哈爾濱、合肥和長沙市對這一數學題目最有興趣的城市。]
我們上回談到了如何建立搜索引擎的索引，那麼如何自動下載互聯網所有的網頁呢，它要用到圖論中的遍歷（Traverse) 演算法。
圖論的起源可追溯到大數學家歐拉（Leonhard Euler）。1736 年歐拉來到德國的哥尼斯堡（Konigsberg，大哲學家康德的故鄉，現在是俄羅斯的加里寧格勒），發現當地市民們有一項消遣活動，就是試圖將下圖中的每座橋恰好走過一遍並回到原出發點，從來沒有人成功過。歐拉證明了這件事是不可能的，並寫了一篇論文，一般認為這是圖論的開始。
圖論中所討論的的圖由一些節點和連接這些節點的弧組成。如果我們把中國的城市當成節點，連接城市的國道當成弧，那麼全國的公路干線網就是圖論中所說的圖。關於圖的演算法有很多，但最重要的是圖的遍歷演算法，也就是如何通過弧訪問圖的各個節點。以中國公路網為例，我們從北京出發，看一看北京和哪些城市直接相連，比如說和天津、濟南、石家莊、南京、沈陽、大同直接相連。我們可以依次訪問這些城市，然後我們看看都有哪些城市和這些已經訪問過的城市相連，比如說北戴河、秦皇島與天津相連，青島、煙台和濟南相連，太原、鄭州和石家莊相連等等，我們再一次訪問北戴河這些城市，直到中國所有的城市都訪問過一遍為止。這種圖的遍歷演算法稱為「廣度優先演算法」（BFS)，因為它先要盡可能廣地訪問每個節點所直接連接的其他節點。另外還有一種策略是從北京出發，隨便找到下一個要訪問的城市，比如是濟南，然後從濟南出發到下一個城市，比如說南京，再訪問從南京出發的城市，一直走到頭。然後再往回找，看看中間是否有尚未訪問的城市。這種方法叫「深度優先演算法」（DFS)，因為它是一條路走到黑。這兩種方法都可以保證訪問到全部的城市。當然，不論採用哪種方法，我們都應該用一個小本本，記錄已經訪問過的城市，以防同一個城市訪問多次或者漏掉哪個城市。
現在我們看看圖論的遍歷演算法和搜索引擎的關系。互聯網其實就是一張大圖，我們可以把每一個網頁當作一個節點，把那些超鏈接（Hyperlinks)當作連接網頁的弧。很多讀者可能已經注意到，網頁中那些藍色的、帶有下劃線的文字背後其實藏著對應的網址，當你點下去的的時候，瀏覽器是通過這些隱含的網址轉到相應的網頁中的。這些隱含在文字背後的網址稱為「超鏈接」。有了超鏈接，我們可以從任何一個網頁出發，用圖的遍歷演算法，自動地訪問到每一個網頁並把它們存起來。完成這個功能的程序叫做網路爬蟲，或者在一些文獻中稱為"機器人" （Robot)。世界上第一個網路爬蟲是由麻省理工學院 (MIT)的學生馬休.格雷（Matthew Gray)在 1993 年寫成的。他給他的程序起了個名字叫「互聯網漫遊者」("www wanderer")。以後的網路爬蟲越寫越復雜，但原理是一樣的。
我們來看看網路爬蟲如何下載整個互聯網。假定我們從一家門戶網站的首頁出發，先下載這個網頁，然後通過分析這個網頁，可以找到藏在它裡面的所有超鏈接，也就等於知道了這家門戶網站首頁所直接連接的全部網頁，諸如雅虎郵件、雅虎財經、雅虎新聞等等。我們接下來訪問、下載並分析這家門戶網站的郵件等網頁，又能找到其他相連的網頁。我們讓計算機不停地做下去，就能下載整個的互聯網。當然，我們也要記載哪個網頁下載過了，以免重復。在網路爬蟲中，我們使用一個稱為「哈希表」(Hash Table)的列表而不是一個記事本紀錄網頁是否下載過的信息。
現在的互聯網非常巨大，不可能通過一台或幾台計算機伺服器就能完成下載任務。比如雅虎公司（Google 沒有公開公布我們的數目，所以我這里舉了雅虎的索引大小為例）宣稱他們索引了 200 億個網頁，假如下載一個網頁需要一秒鍾，下載這 200 億個網頁則需要 634 年。因此，一個商業的網路爬蟲需要有成千上萬個伺服器，並且由快速網路連接起來。如何建立這樣復雜的網路系統，如何協調這些伺服器的任務，就是網路設計和程序設計的藝術了。
J. python爬蟲和web哪個好
從技術上來說沒有好壞之分，只有學的好壞之分，關鍵在於你以後的職業規劃在哪個方向，你要做開發就覺web,最好是全棧，你要往數據分析就選python爬蟲！