Robots.txt是存放在網(wǎng)站根目錄下的一個文件，通常情況下，搜索引擎會對所有的網(wǎng)站頁面進(jìn)行抓取分析，如果一個網(wǎng)站管理員不想讓搜索引擎抓取一些頁面，比如網(wǎng)站管理后臺，網(wǎng)站次要目錄或者涉及到不愿被搜索引擎抓取公開的內(nèi)容等，則通過創(chuàng)建該文件來引導(dǎo)各大搜索引擎抓取。當(dāng)搜索引擎抓取一個站點(diǎn)時，會首先檢查其根目錄下是否有robots.txt存在。如果存在，則會按照文件中所規(guī)定的抓取范圍，若不存在，則會按照正常的方法進(jìn)行抓取。
首先是了解各大搜索引擎spider名稱。
Baiduspider[baidu] Scooter[altavista] ia_archiver[alexa] Googlebot[google] FAST-WebCrawler[alltheweb] MSNBOT[MSN]
SEO中國的robots.txt的寫法：
User-agent: *
Disallow: /dir/admin/
User-agent是指定搜索引擎robot的名字，即若針對baidu則會對應(yīng)的值是Baiduspider，google對應(yīng)的是Googlebot等。如果針對所有搜索引擎均有效，則保留為*值。
Disallow是規(guī)定讓搜索引擎忽略抓取的目錄。例如，http://www.cn-seo.net/dir為SEO中國的分類目錄地址，而其管理地址是對搜索引擎抓取沒有任何意義的目錄，則該例中，/dir/admin/為所有搜索引擎所禁止抓取。
Disallow書寫方法：默認(rèn)從根目錄出發(fā)，指定忽略的目錄，末尾加上/
指定多個目錄：
Disallow: /dir/admin/
Disallow: /a/
Disallow: /b/
以上是針對網(wǎng)站目錄抓取情況進(jìn)行處理，如何進(jìn)行單個文件處理呢？采用Robots Meta方法。
和其他的meta，如description.keywords等相同，書寫到<head></head>之間
<head>
<title>SEO中國,搜索引擎優(yōu)化,網(wǎng)站優(yōu)化,網(wǎng)站SEO研究</title>
<meta name="Robots" content="index,follow">
<meta name="Keywords" content="SEO中國, 網(wǎng)站排名, Google左側(cè)排名, 搜索引擎優(yōu)化, SEO研究, SEO資訊, SEO下載, SEO案例, 網(wǎng)站推廣">
<meta name="Description" content="SEO中國致力于網(wǎng)站優(yōu)化,Google左側(cè)排名,搜索引擎優(yōu)化,中國網(wǎng)站SEO研究,提高中國網(wǎng)站搜索引擎排名競爭力.">
</head>
則規(guī)定了該頁的抓取方法：正常抓取，順序抓取。
