我們說(shuō)robots.txt是站長(zhǎng)和搜索引擎交互的重要工具之一。
是我們向搜索引擎?zhèn)鬟f站點(diǎn)信息重要手段。
那么robots文件是怎么用的？robots.txt的寫(xiě)法是怎么樣的？
robots文件的常見(jiàn)用法如下：
1、可以告訴搜索引擎哪些URL是可以收錄的。
2、可以屏蔽的站點(diǎn)死連接，錯(cuò)誤連接。
3、可以屏蔽網(wǎng)站上存在一些比較大的文件、比如：打包文件、大圖片文件、音樂(lè)文件、或電影
文件、日志文件夾等等。因?yàn)檫@些文件可能讓你的流量過(guò)大，占用過(guò)多寬帶
robots.txt的寫(xiě)法：
首先：robots.txt的命名，都應(yīng)該是小寫(xiě)。
robots.txt文件中一般至少要包含一個(gè)Disallow：
如果都允許收錄，你可以寫(xiě)一行Disallow:/searchABC.html
這個(gè)文件(searchABC.html)本來(lái)就不存在也沒(méi)關(guān)系。
你可以查看Seoer365的robots文件！http:www.seoer365.com/robots.txt
robots.txt寫(xiě)法格式：
User-agent: *
Disallow: /searchABC.html
Disallow: /index.asp?
Disallow: /Images/
User-agent: * 星號(hào)說(shuō)明，允許所有的搜索引擎來(lái)收錄
Disallow: /search.html 說(shuō)明不允許收錄 /search.html 這個(gè)文件
Disallow: /index.asp? 說(shuō)明不允許收錄以index.asp?為前綴的鏈接如：index.asp?
boardid=1、index.asp?/search等等。
Disallow: /Images/ 說(shuō)明不允許收錄/Images/里的所有文件。但可以收錄如：/Images.asp 的鏈接。
這里是我們?cè)赟EO中常用的寫(xiě)法。如果你想了解更多可到百度官方網(wǎng)站查看：
http://www.baidu.com/search/robots.html
相關(guān)疑問(wèn)
如果沒(méi)有robots文件要不要緊？
我們說(shuō)搜索引擎用來(lái)爬取網(wǎng)頁(yè)內(nèi)容的工具我們稱之為搜索引擎機(jī)器人，搜索引擎機(jī)器人每次來(lái)到要抓取的網(wǎng)站，都會(huì)先訪問(wèn)這個(gè)網(wǎng)站根目錄下的一個(gè)文件（robots.txt），如果不存在該文件，則搜索引擎機(jī)器人默認(rèn)這個(gè)網(wǎng)站允許其全部抓取。不過(guò)我們建議網(wǎng)站要有自己獨(dú)特的robots文件，這樣搜索引擎會(huì)覺(jué)得比較正規(guī)！
