Disallow haha Allowhahatest 五常見(jiàn)搜索引擎蜘蛛的代碼 #搜索引擎UserAgent代碼對(duì)照表 以上是rotbotstxt使用方法，更多的到y(tǒng)y6359頻道學(xué)習(xí)吧。

200 正常請(qǐng)求已完成201 正常緊接POST命令202 正常已接受用于處理，但處理尚未完成203 正常部分信息 返回的信息只是一部分204 正常無(wú)響應(yīng) 已接收請(qǐng)求，但不存在要回送的信息 301 永久重定向。

第一步，把光標(biāo)放在需要插入圖片的地方步驟2單擊工具文件中的插入模塊，并選擇圖片選項(xiàng)第三步打開(kāi)圖片下拉框，選擇圖片文件的來(lái)源第四步找到圖片文件的存儲(chǔ)位置后，點(diǎn)擊打開(kāi)圖片插入 第五步調(diào)整圖片大小，完成圖片插入。

例如，想禁目Msn蜘蛛抓取admin文件夾，可以設(shè)代碼如下Useragent Msnbot Disallow admin 五設(shè)定某種類型文件禁止被某個(gè)搜索引擎蜘蛛抓取，設(shè)置代碼如下UseragentDisallow *htm 說(shuō)明其中“htm”，表示禁止。

UseragentDisallow html 通配符告訴蜘蛛匹配任意一段字符，是任意一段字符，我想像你那兩種設(shè)置應(yīng)該都可以例如，下面一段代碼將禁止蜘蛛抓取所有html文件UseragentDisallow *html Allow和Disallow可以配合使用的。

文件”類型如果采用了url，就要注意這個(gè)不能對(duì)應(yīng)html文件，需要對(duì)應(yīng)asp等動(dòng)態(tài)文件，然后在這些文件中用代碼讓其返回404狀態(tài)以上信息來(lái)源于網(wǎng)絡(luò)，并非原創(chuàng)具體請(qǐng)自行搜索“百度蜘蛛爬行代碼302”，查閱一些資料。

代碼如下UseragentDisallow *htm 說(shuō)明其中“htm”，表示禁止搜索引擎蜘蛛抓取所有以”htm”為后綴的文件，注意，這里并不包括以”html”為后綴的文件希望能夠幫助你。

第三步修改調(diào)用代碼代碼的意思是 判斷來(lái)訪路徑 是搜索引擎程序，還是真實(shí)客戶訪問(wèn)，進(jìn)行內(nèi)容抓取，也就是快照，然后判斷跳轉(zhuǎn)然后把代碼上傳到 connasp 文件里面做完以上步驟，可以刷下外鏈，快速吸引蜘蛛，刷外鏈等快照更新就。

一下是DZ代碼中的實(shí)現(xiàn)細(xì)節(jié)，你可以參考一下 其實(shí)PHP有個(gè)很簡(jiǎn)單的方式去實(shí)現(xiàn)，通過(guò)_SERVER這個(gè)預(yù)定義變量中的_SERVER#39。

寫robotstxt文件，用記事本做一個(gè)robotstxt 下面是內(nèi)容 UseragentDisallow 以上可以直接復(fù)制，表示所有搜索引擎，禁止抓取本站任何內(nèi)容 風(fēng)險(xiǎn)使用屏蔽后，就算刪除該文件，網(wǎng)站也會(huì)長(zhǎng)時(shí)間不收錄，至少半年 做完robots。

網(wǎng)站管理員可以通過(guò)robotstxt來(lái)定義哪些目錄網(wǎng)絡(luò)蜘蛛不能訪問(wèn)，或者哪些目錄對(duì)于某些特定的網(wǎng)絡(luò)蜘蛛不能訪問(wèn)例如有些網(wǎng)站的可執(zhí)行文件目錄和臨時(shí)文件目錄不希望被搜索引擎搜索到，那么網(wǎng)站管理員就可以把這些目錄定義為拒絕訪問(wèn)。

如果你還想知道有沒(méi)有其它搜索引擎的蜘蛛來(lái)過(guò)你的站，你可以在日志文件中搜索“spider”這個(gè)詞，或者搜索蜘蛛的IP，我的就查到sogou也來(lái)過(guò)我的站，IIS日志與Apache的日志是一樣的，都可以查到各類蜘蛛IP收集，不一定完全。

一百度蜘蛛 百度蜘蛛最新名稱為Baiduspider，日志中還發(fā)現(xiàn)了Baiduspiderimage這個(gè)百度旗下蜘蛛，我們直接看名字就可以知道它是干嘛的，是專門用以抓取圖片的蜘蛛常見(jiàn)百度旗下同類型蜘蛛還有下面這些Baiduspidermobile抓取。

百度搜索引擎每周更新，網(wǎng)頁(yè)視重要性有不同的更新率，頻率在幾天至一月之間，baiduspider會(huì)重新訪問(wèn)和更新一個(gè)網(wǎng)頁(yè)這里有一個(gè)demo的代碼showdml 參考資料。

robots是做SEO非常重要的文件，用來(lái)告訴搜索引擎哪些文件能收錄哪些文件不能收錄Useragent *Disallow 是允許所有搜索引擎收錄的意思Useragent *表示允許所有搜索引擎蜘蛛來(lái)爬行抓取，也可以把*去掉，改為特定某一個(gè)。

IIS查看分析網(wǎng)站日志需要找到日志目錄，下面小編在Win10系統(tǒng)演示一下1打開(kāi)開(kāi)始界面，點(diǎn)擊左下角的設(shè)置圖標(biāo)，如下圖所示 2搜索管理工具，點(diǎn)擊進(jìn)入，如下圖所示 3雙擊IIS管理器，進(jìn)入IIS管理界面，如下圖所示 4左側(cè)。