內(nèi)容頁面通常都是分頁的，一次抓取不了太多，這個庫可以獲取分頁信息結(jié)果如下通過迭代器實現(xiàn)了智能發(fā)現(xiàn)分頁，這個迭代器里面會用一個叫 _next 的方法，貼一段源碼感受下通過查找 a 標簽里面是否含有指定的文本來。

1提取列車Code和No信息2找到url規(guī)律，根據(jù)Code和No變化實現(xiàn)多個網(wǎng)頁數(shù)據(jù)爬取3使用PhantomJS模擬瀏覽器爬取源代碼4用bs4解析源代碼，獲取所需的途徑站數(shù)據(jù)5用csv庫存儲獲得的數(shù)據(jù)。

當使用爬蟲抓取網(wǎng)頁時，一般只能獲取到網(wǎng)頁源代碼，而無法獲取到經(jīng)過瀏覽器渲染后的頁面內(nèi)容如果要獲取經(jīng)過瀏覽器渲染后的內(nèi)容，需要使用一個瀏覽器渲染引擎如Selenium來模擬瀏覽器行為，從而獲取到完整的頁面內(nèi)容另外。

如何使用Chrome的inspect找到隱藏的數(shù)據(jù)資源 懿漫剛開始抓數(shù)據(jù)的時候，會遇到在右鍵查看網(wǎng)頁源碼view page source中找不到的網(wǎng)頁中加載的數(shù)據(jù)，很苦惱啊 然后學會了如何使用Chrome的network來找到這些信息 3查找步驟4。