獲取鏈接的數(shù)據(jù)以后，加個判斷如果需要登陸 ，則使用php的curl函數(shù)來模擬post不需要登陸則直接采集；很多網(wǎng)站都針對采集行為作了各種干擾措施，傳統(tǒng)的采集工具都是依賴分析網(wǎng)頁源碼，利用正則表達式技術(shù)從網(wǎng)頁源碼中抽取特殊內(nèi)容而熊貓則完全不同，利用的是仿瀏覽器解析技術(shù)，因此這些反采集的干擾措施對熊貓基...