国产一级a片免费看高清,亚洲熟女中文字幕在线视频,黄三级高清在线播放,免费黄色视频在线看

Robots.txt由兩部分組成。首先是User-agent，指出Robots.txt語(yǔ)句所涉及到的搜索引擎。其次是Disallow/Allow，指出對(duì)于User- agent中所涉及的搜索引擎，需要禁止或允許收錄的URL，可以是絕對(duì)路徑，也可以是相對(duì)路徑。

下面舉幾個(gè)例子來(lái)進(jìn)行說(shuō)明：

1、禁止百度訪(fǎng)問(wèn)網(wǎng)站的任何部分。

• User-agent: Baiduspider
• Disallow: /

參考范例：http://www.taobao.com/robots.txt。

2、禁止spider訪(fǎng)問(wèn)特定目錄。

• User-agent: *
• Disallow: /cgi-bin/
• Disallow: /tmp/

3、禁止訪(fǎng)問(wèn)網(wǎng)站中所有的動(dòng)態(tài)頁(yè)面。

• User-agent: *
• Disallow: /*?*

除此之外，通過(guò)Meta Robots對(duì)單獨(dú)每個(gè)網(wǎng)頁(yè)進(jìn)行設(shè)置，也可以達(dá)到禁止搜索引擎的效果，詳細(xì)操作請(qǐng)閱讀教程Meta Robots怎么寫(xiě)。