1、1首先，打開散標(biāo)數(shù)據(jù)，如下，爬取的信息主要包括年利率借款標(biāo)題期限金額和進(jìn)度這5個(gè)字段信息右鍵對(duì)應(yīng)元素進(jìn)行檢查，可以看出所有的數(shù)據(jù)嵌套在div標(biāo)簽中，如下打開網(wǎng)頁源碼，我們按Ctrl+F查找對(duì)應(yīng)的數(shù)據(jù)，會(huì)發(fā)現(xiàn)所查。

2、另外，爬取網(wǎng)易云推薦使用selenium，因?yàn)槲覀冊(cè)谧雠廊【W(wǎng)易云熱評(píng)的操作時(shí)，此時(shí)請(qǐng)求得到的代碼是父網(wǎng)頁的源代碼，這時(shí)是請(qǐng)求不到子網(wǎng)頁的源代碼的，也得不到我們需要提取的信息，這是因?yàn)閟elenium打開頁面后，默認(rèn)是在父級(jí)frame。

3、不用說，當(dāng)然是把腳本轉(zhuǎn)為java代碼了，在E clipse中重新開始搞選擇一個(gè)測(cè)試框架有Junit和TestNg兩個(gè)選擇，公司用的是junit，所以，不用多說，我就用junit驗(yàn)證selenium腳本的運(yùn)行結(jié)果并且，Junit和Test。

4、模擬瀏覽器，動(dòng)態(tài)獲取，可以使用大殺器selenium工具 使用這種方法可以實(shí)現(xiàn)只要能看到就能抓取到，如鼠標(biāo)滑過，異步加載等，因?yàn)樗男袨榭梢耘c瀏覽器一模一樣，但是這種方式的效率卻是最低的，一般不到實(shí)在沒有辦法的時(shí)候不推薦。

5、給re的數(shù)據(jù)類型有錯(cuò)，希望值是字符串，提供的確實(shí)其他類型。

6、沒有不能查看源代碼的網(wǎng)頁，點(diǎn)一下F12或者1抓包，找到真正的url，模擬post或get2用selenium+phantomjs 或firefox 或chrome。

7、一般我們使用python的第三方庫requests及框架scrapy來爬取網(wǎng)上的資源，但是設(shè)計(jì)javascript渲染的頁面卻不能抓取，此時(shí)，我們使用web自動(dòng)化測(cè)試化工具Selenium+無界面瀏覽器PhantomJS來抓取javascript渲染的頁面，下面實(shí)現(xiàn)一個(gè)簡單的爬。

8、driverpage_source是只能獲取源碼的如果是需要加載的，你需要用匹配，比如browserfind_elements_by_xpath。

9、當(dāng)使用爬蟲抓取網(wǎng)頁時(shí)，一般只能獲取到網(wǎng)頁源代碼，而無法獲取到經(jīng)過瀏覽器渲染后的頁面內(nèi)容如果要獲取經(jīng)過瀏覽器渲染后的內(nèi)容，需要使用一個(gè)瀏覽器渲染引擎如Selenium來模擬瀏覽器行為，從而獲取到完整的頁面內(nèi)容另外。

10、無界面mechanicalsoup1html無界面RoboBrowser_test0html有界面selenium5html無界面的快，但是。

11、沒錯(cuò)，簡書的文章并不是常規(guī)的。

12、6 運(yùn)行采集任務(wù)確認(rèn)設(shè)置無誤后，可以啟動(dòng)采集任務(wù)，讓八爪魚開始采集數(shù)據(jù)7 等待采集完成八爪魚將根據(jù)設(shè)置的規(guī)則自動(dòng)抓取頁面上的數(shù)據(jù)，并將其保存到本地或?qū)С龅街付ǖ臄?shù)據(jù)庫等八爪魚采集器是一款功能全面操作。

13、js動(dòng)態(tài)無法加載python爬取數(shù)據(jù)運(yùn)行顯示頁面不存在的原因是js動(dòng)態(tài)無法加載直接找網(wǎng)頁上請(qǐng)求對(duì)應(yīng)數(shù)據(jù)的接口URL，請(qǐng)求即可。

14、這個(gè)可以通過瀏覽器自帶的f12 ，或者通過鼠標(biāo)右鍵，審計(jì)元素獲得當(dāng)前html源代碼 答題不易，互相理解，您的采納是我前進(jìn)的動(dòng)力 如果我的回答沒能幫助您，請(qǐng)繼續(xù)追問 您也可以向我們團(tuán)隊(duì)發(fā)出請(qǐng)求，會(huì)有更專業(yè)的人來為您解答。

15、這個(gè)讀不了網(wǎng)頁元素，是因?yàn)槟愕木W(wǎng)頁都沒有打開它怎么去讀取元素建議用chrome來做這些頁面操作，會(huì)比較好用，沒有這么多問題，IE和Firefox對(duì)這個(gè)webdriver支持不太好，會(huì)有很多問題。