例1. 禁止所有搜索引擎訪問網站的任何部分
User-agent: *
Disallow: /
例2. 允許所有的robot訪問
(或者也可以建一個空文件 "/robots.txt")
User-agent: *
Disallow:
或者
User-agent: *
Allow: /
例3. 僅禁止baiduspider訪問您的網站 User-agent: baiduspider
Disallow: /
例4. 僅允許baiduspider訪問您的網站 User-agent: baiduspider
Disallow:
User-agent: *
Disallow: /
例5.禁止spider訪問特定目錄
在這個例子中，該網站有三個目錄對搜索引擎的訪問做了限制，即robot不會訪問這三個目錄。需要注意的是對每一個目錄必須分開聲明，而不能寫成 "Disallow: /cgi-bin/ /tmp/"。
User-agent: *
Disallow: /cgi-bin/
Disallow: /tmp/
Disallow: /~joe/
例6. 允許訪問特定目錄中的部分url
User-agent: *
Allow: /cgi-bin/see
Allow: /tmp/hi
Allow: /~joe/look
Disallow: /cgi-bin/
Disallow: /tmp/
Disallow: /~joe/
例7. 使用"*"限制訪問url
禁止訪問/cgi-bin/目錄下的所有以".htm"為后綴的URL(包含子目錄)。
User-agent: *
Disallow: /cgi-bin/*.htm
例8. 使用"$"限制訪問url
僅允許訪問以".htm"為后綴的URL。 User-agent: *
Allow: .htm$
Disallow: /
例9. 禁止訪問網站中所有的動態(tài)頁面
User-agent: *
Disallow: /*?*
本站僅提供存儲服務，所有內容均由用戶發(fā)布，如發(fā)現(xiàn)有害或侵權內容，請
點擊舉報。
