Ⅰ 爬蟲小白問個不知道關於scrapy爬取json動態生成列表的問題!
對於只是讀取某幾個網站更新內容的爬蟲完全沒必要在python代碼中實現增量的功能,直接在item中增加Url欄位。 item['Url'] = response.url 然後在數據端把儲存url的column設置成unique。 之後在python代碼中捕獲資料庫commit