爬蟲無非三步：下載源碼 抽取數(shù)據(jù) 存儲數(shù)據(jù)

所以，你需要考慮的是：如何高效的抓取 如何抽取有用的數(shù)據(jù) 如何設(shè)計存儲結(jié)構(gòu) 如何近乎實時的更新 如何判重并減少冗余數(shù)據(jù)存儲

網(wǎng)絡(luò)爬蟲-驗證碼登錄

驗證碼是一種非常有效的反爬蟲機制，它能阻止大部分的暴力抓取，在電商類、投票類以及社交類等網(wǎng)站上應(yīng)用廣泛。如果破解驗證碼，成為了數(shù)據(jù)抓取工作者必須要面對的問題。

在訪問某些網(wǎng)站時，我們最初只是需要提供用戶名密碼就可以登陸的，比如說豆瓣網(wǎng)，如果我們要是頻繁登陸訪問，可能這時網(wǎng)站就會出現(xiàn)一個驗證碼圖片，要求我們輸入驗證碼才能登陸，這樣在保證用戶方便訪問的同時，又防止了機器的惡意頻繁訪問。對于這種情況，我們可以使用代理服務(wù)器訪問，只需要換個ip地址再次訪問，驗證碼就不會出現(xiàn)了，當(dāng)然，當(dāng)驗證碼再次出現(xiàn)的時候，我們只能再更換ip地址。

如果對于網(wǎng)站首次登陸就需要提供驗證碼的情況呢？兩種辦法，我們可以使用cookie登陸，還有就是可以采用驗證碼識別手段。使用cookie登陸比較簡單，但是有時效性問題。而驗證碼識別雖然是個很好的思路，但是識別的精度又限制了抓取的效率。 拿知乎網(wǎng)舉例子，如圖所示，知乎的登陸界面要求我們輸入用戶名密碼的同時，給出驗證碼，才能登陸。

如果采用cookie登陸，可以這樣實現(xiàn)：首先需要手動登陸網(wǎng)站一次，獲取服務(wù)器返回的cookie，這里就帶有了用戶的登陸信息，當(dāng)然也可以采用獲取的cookie登陸該網(wǎng)站的其他頁面，而不用再次登陸。具體代碼已經(jīng)實現(xiàn)，詳見ZhihuSpider。我們只需要在配置文件中提供用戶名密碼，及相應(yīng)的cookie即可。對于不出現(xiàn)驗證碼的情況，爬蟲會提交用戶名密碼實現(xiàn)post請求登陸，如果失敗，才會使用事先提供的cookie信息。

需要說明的是，判斷爬蟲登陸與否，我們只需要看一下爬取的信息里面是否帶有用戶信息即可。在使用cookie登陸的時候，還需要不定期更新cookie，以保證爬取順利進行。

大牛的自序：