整個(gè)網(wǎng)頁代碼啥樣的代碼中只出現(xiàn)兩個(gè)div那就用css選擇器，看下面。

由于方法1有問題，只能獲取到下載頁面鏈接，所以換用Re解決，代碼如下import；如果確定是有的話，可能是頁面加載比較慢還沒加載出來，selenium默認(rèn)是不會(huì)等待對象出現(xiàn)的，需要在找對象前加一些等待時(shí)間另外如果頁面上有iframe的話需要先切換進(jìn)去才能找到里面的對象；使用drivertitle就可以獲取了和這個(gè)類似的有一個(gè)屬性叫做current_url獲取的是地址欄的url地址學(xué)自動(dòng)化測試的話，我推薦傳智播客，薪資現(xiàn)在已經(jīng)突破13了對于剛畢業(yè)的我來說，還是很滿意的；網(wǎng)頁爬取不一定要用Selenium，Selenium是為了注入瀏覽器獲取點(diǎn)擊行為的調(diào)試工具，如果網(wǎng)頁無需人工交互就可以抓取，不建議你使用selenium要使用它，你需要安裝一個(gè)工具軟件，使用Chrome瀏覽器需要下載chromedriverexe到system32下。

辦法獲取頁面上所有元素屬性包含quothrefquot的元素，可以用getAttribute“href”方法，然后做個(gè)循環(huán)依次點(diǎn)擊Selenium是一個(gè)用于Web應(yīng)用程序測試的工具Selenium測試直接運(yùn)行在瀏覽器中，就像真正的用戶在操作一樣支持的瀏覽器；用selenium 或者前臺(tái)實(shí)現(xiàn)也行或者用個(gè)gui，在里面展示html頁面然后捕獲；作為在傳智剛剛學(xué)完這測試段課程的人，來給你簡單描述一下，我用的是webdriver，如果你的目標(biāo)是點(diǎn)擊一個(gè)超鏈接，就需要通過以下步驟來進(jìn)行1首先你要先獲取到這個(gè)超鏈接元素標(biāo)簽的屬性信息id，name，位置，或者超鏈接文本2。

法1直接分析ajax調(diào)用的接口然后通過代碼請求這個(gè)接口法2使用Selenium+chromedriver模擬瀏覽器行為獲取數(shù)據(jù)Selenium 相當(dāng)于是一個(gè)機(jī)器人可以模擬人類在瀏覽器上的一些行為，自動(dòng)處理瀏覽器上的一些行為，比如點(diǎn)擊；1可以通過瀏覽器的調(diào)試功能，例如Firefox按F12，點(diǎn)網(wǎng)絡(luò)標(biāo)簽，然后就可以看到網(wǎng)頁的所有數(shù)據(jù)信息，網(wǎng)頁通過AJAX異步加載的數(shù)據(jù)也可以得到2使用抓包類的工具，如SmartSniff，經(jīng)過分析也可以得到數(shù)據(jù)也可以得到數(shù)據(jù)；1獲取當(dāng)前網(wǎng)頁標(biāo)題String#160title=drivergetTitle2獲取當(dāng)前網(wǎng)頁的URLString url=drivergetCurrentUrl3獲取元素的文本值，比如鏈接，純文本等String text=driverfindElementBy locationgetText4；如果跳轉(zhuǎn)是在當(dāng)前窗口跳轉(zhuǎn)，直接通過driver的相關(guān)方法獲取就可以如果跳轉(zhuǎn)時(shí)打開了新窗口，需要先進(jìn)行窗口切換，然后再獲取內(nèi)容。

selenium webdriver的硬傷在于它無法真正判斷頁面上的元素什么時(shí)候能生成完畢，換句話說 ，假如獲取頁面上的元素失敗，而這個(gè)元素是由js，ajax生成并且是未知的情況下例如要抓取網(wǎng)頁關(guān)鍵詞，但是關(guān)鍵詞的內(nèi)容是什么，一共有；因此，我們?nèi)绻褂?AJAX 加載的動(dòng)態(tài)網(wǎng)頁，怎么爬取里面動(dòng)態(tài)加載的內(nèi)容呢有兩種方法方法1操作步驟步驟selenium選擇元素的方法有很多有時(shí)候，我們需要查找多個(gè)元素在上述例子中，我們就查找了所有的評(píng)論因此，也有；使用xpath=selectoption定位獲取到一個(gè)元素集合，然后再取這個(gè)集合的個(gè)數(shù)就是option的個(gè)數(shù)。