1、1首先，打開原網(wǎng)頁，如下，這里假設(shè)要爬取的字段包括昵稱內(nèi)容好笑數(shù)和評(píng)論數(shù)接著查看網(wǎng)頁源碼，如下，可以看的出來，所有的數(shù)據(jù)都嵌套在網(wǎng)頁中2然后針對(duì)以上網(wǎng)頁結(jié)構(gòu)，我們就可以直接編寫爬蟲代碼，解析網(wǎng)頁并提取出。

2、打開網(wǎng)頁源碼中，可以發(fā)現(xiàn)數(shù)據(jù)不在網(wǎng)頁源碼中，按F12抓包分析時(shí)，才發(fā)現(xiàn)在一個(gè)json文件中，如下2獲取到j(luò)son文件的url后，我們就可以爬取對(duì)應(yīng)數(shù)據(jù)了，這里使用的包與上面類似，因?yàn)槭莏son文件，所以還用了json這個(gè)包解析。

3、里的內(nèi)容實(shí)際上就是另一個(gè)網(wǎng)頁了你只是爬它的源碼是爬不到的， 你要提取 iframe 里的 src 所指向的網(wǎng)址， 重新打開它， 然后才爬他的源碼 或者如果你用框架， 里面應(yīng)該有另外提供方法， 讀取 iframe 中的內(nèi)容。

4、網(wǎng)站首頁 爬取主鏈接 1777html 1章節(jié)標(biāo)題 2章節(jié)正文內(nèi)容 以第一章為例我們點(diǎn)擊“第一章 童年”可以進(jìn)入第一章的正文部分看看。

5、當(dāng)使用爬蟲抓取網(wǎng)頁時(shí)，一般只能獲取到網(wǎng)頁源代碼，而無法獲取到經(jīng)過瀏覽器渲染后的頁面內(nèi)容如果要獲取經(jīng)過瀏覽器渲染后的內(nèi)容，需要使用一個(gè)瀏覽器渲染引擎如Selenium來模擬瀏覽器行為，從而獲取到完整的頁面內(nèi)容另外。

6、二種方法1抓包，找到真正的url，模擬post或get 2用selenium+phantomjs 或firefox 或chrome。

7、看你爬什么咯如果是網(wǎng)頁，那就是頁面代碼如果是制定內(nèi)容，那爬取的時(shí)候就給定匹配的關(guān)鍵字，返回你指定的數(shù)據(jù)字串，list，json都可以。

8、如果我們需要查看頁面某個(gè)元素的locator，可以鼠標(biāo)右擊，選擇Inspect Element with Firebug， 于是就到了元素對(duì)應(yīng)的html源碼位置這樣我們根據(jù)這部分源碼來寫locator但是，往往對(duì)于一些element如button等，右擊后沒有反應(yīng)時(shí)，我們。

9、“password” 將是字典的 key 值，我們輸入的密碼將是對(duì)應(yīng)的 value 值在其他網(wǎng)站key值可能是 “userpassword”，“l(fā)oginpassword”，“pwd”，等等3 在源代碼頁面中，查找一個(gè)名為 “csrfmiddlewaretoken” 的隱藏。

10、網(wǎng)頁爬取不一定要用Selenium，Selenium是為了注入瀏覽器獲取點(diǎn)擊行為的調(diào)試工具，如果網(wǎng)頁無需人工交互就可以抓取，不建議你使用selenium要使用它，你需要安裝一個(gè)工具軟件，使用Chrome瀏覽器需要下載chromedriverexe到system32下。

11、用Chrome的最大好處，就是它有一個(gè)開發(fā)人員工具，可以直接查看網(wǎng)頁的源碼按下command+option+L，打開開發(fā)人員工具，就能看到這個(gè)網(wǎng)頁的源碼了我們要找的東西，就藏在這些亂七八糟的HTML代碼里如何從HTML源碼里找到。

12、順便分享一些關(guān)于爬知乎的東西目前來說還沒有官方API的支持，可能最有用的也就是用戶的“個(gè)性網(wǎng)址”好別扭，下稱UID了，譬如黃繼新老師的UID jixin，不過可以由用戶本人修改，但每個(gè)用戶一定唯一以%UID代替。

13、界面上能看到嗎，能看到就不是hidden通常爬蟲的一大困難是html是由js渲染，并不是簡單的發(fā)請(qǐng)求就可以獲得肉眼看到的內(nèi)容解決方法用selenium等模擬用戶操作。

14、這個(gè)直接用BeautifulSoup解析取字符串就行，沒必要正則。

15、quotpasswordquot quotlt你的密碼quot， quotcsrfmiddlewaretokenquot authenticity_token # 在源代碼中，有一個(gè)名為 “csrfmiddlewaretoken” 的隱藏輸入標(biāo)簽# 執(zhí)行登錄result = session_requestspost login_url， data =。

16、如果評(píng)論是通過AJAX顯示的，那么抓取有一定難度你的爬蟲需要能夠解釋JS，并解惑JS的內(nèi)容但如果你只針對(duì)少數(shù)的網(wǎng)站進(jìn)行抓取，則可以針對(duì)這些網(wǎng)站開發(fā)專用的蜘蛛人工分析其JS，從中找到其獲取評(píng)論的AJAX接口，然后抓之這樣。

17、首先要知道這個(gè)url是用get還是post方法，然后看看請(qǐng)求頭或者url有沒有攜帶什么會(huì)產(chǎn)生變化的數(shù)據(jù)，你單獨(dú)請(qǐng)求ajax頁面的時(shí)候是要帶上這些數(shù)據(jù)的。

18、這種是用js實(shí)現(xiàn)的所以后面的內(nèi)容實(shí)際上是動(dòng)態(tài)生成的，網(wǎng)絡(luò)爬蟲抓取的是靜態(tài)頁面至于解決辦法，網(wǎng)上有幾種一種是使用自動(dòng)化測試工具去做，比如selenium，可以模擬點(diǎn)擊等操作，但是這個(gè)其實(shí)和爬蟲還是有很大區(qū)別的二是利用。