有趣的是，這種特性往往用來作為參考資料，猜測網(wǎng)站又有什么新動向上馬，而不想讓別人知道。例如通過分析Google的robots.txt變化來預(yù)測Google將要推出何種服務(wù)。
有興趣的讀者可以看一下Google的robots.txt文件，注意到前幾行就有“Disallow: /search”，而結(jié)尾新加上了“Disallow: /base/s2”。
現(xiàn)在來做個測試，按照規(guī)則它所隱藏的地址是http://www.Google.com/base/s2，打開之后發(fā)現(xiàn)Google給出了一個錯誤提示：“服務(wù)器遇到一個暫時性問題不能響應(yīng)您的請求，請30秒后再試。”
圖1
但是把s2最后的數(shù)字換成1、3或者別的什么數(shù)字的時候，錯誤提示又是另一個樣子：“我們不知道您為什么要訪問一個不存在的頁面。”
圖2
User-agent: Baiduspider
Disallow: /baidu
User-agent: *
Disallow: /shifen/dqzd.html
第一段就不用說了，第二段也遇到了同樣打不開的錯誤，不過，按以前的資料來看，這是百度曾經(jīng)的競價排名的區(qū)域核心代理一覽表以及地區(qū)總代理一覽表，出于某些可以理解的原因做了模糊處理。
圖3
