Robotstxt的設(shè)置十分簡潔，如果希望對所有網(wǎng)絡(luò)蜘蛛無特定限制，可以寫為UseragentDisallow盡管Robotstxt是一種協(xié)議，但并非所有網(wǎng)絡(luò)蜘蛛都會嚴格遵循不過，大部分蜘蛛會遵守，同時，管理員還可以通過其他方法來限制特定頁面的抓取在下載網(wǎng)頁的過程中，網(wǎng)絡(luò)蜘蛛會解析HTML代碼，尋找...