九月總結(jié)的SEOer最想知道的robots.txt 六大點總結(jié)。
1。你是否知道robots.txt中文的意思？
2。你是否知道404頁面應(yīng)該屏蔽？
3。你的企業(yè)站，每個頁面是否都有“關(guān)于我們”，并且還得沒屏蔽掉？
4。你是否知道設(shè)置好robots.txt，是有利于提升網(wǎng)站整體權(quán)重？
5。你想知道robots.txt基本寫法？
6。robots.txt該如何寫，才優(yōu)化最佳。
1。robots.txt的中文意思是：搜索引擎公共協(xié)議。搜索引擎到你的網(wǎng)站，是先看robots.txt，按照上面寫好的協(xié)議再抓取你的網(wǎng)頁。
2。每個網(wǎng)站都應(yīng)該要有404頁面，假如沒有，會導(dǎo)致 1）減少網(wǎng)站PV 2）減少流量 3）搜索引擎對你的網(wǎng)站不有好，因為你的網(wǎng)站用戶體驗度不好。
每個網(wǎng)站都有很多錯誤頁面，每個錯誤頁面都應(yīng)該做一個404頁面，那么每個404頁面都是一樣的。一旦你的404頁面太多，你還讓搜索引擎去收錄，就會導(dǎo)致網(wǎng)站把權(quán)重分給這些404頁面，這值得嗎？因此我們必須要屏蔽掉404頁面。
3。企業(yè)站的導(dǎo)航欄上面，往往會有“網(wǎng)上賺錢博客介紹”“聯(lián)系九月”“關(guān)于我們”這些頁面。這些頁面，可以說是全站顯示，網(wǎng)站的每個頁面幾乎都要分權(quán)重給這些頁面，但是這些頁面值得網(wǎng)站分權(quán)重給他們嗎？因此我們也必須屏蔽掉這些“不重要內(nèi)容”的頁面，不讓搜索引擎抓取。
4。從3.4點，我們可以得出一個結(jié)論：網(wǎng)站如果有太多無關(guān)的頁面被收錄，而你又不想用戶直接從搜索引擎進(jìn)入這些頁面，那么網(wǎng)站就會把權(quán)重分給這些“毫無意義”的頁面，這樣就會降低整體網(wǎng)站的權(quán)重。
簡而概之，就是網(wǎng)站被這些垃圾頁面所拖累了。
5。robots.txt的基本寫法。
在桌面上建立一個叫robots.txt文檔
以下內(nèi)容按順序?qū)懀?/p>
User-agent: *
Disallow: /wp-admin/
Disallow: /wp-content/
Disallow: /feed
Disallow: /comments/feed
Disallow: /trackback
Disallow: /guestbook
User-agent: #表示允許的搜索引擎。*代表允許所有，如果僅允許百度蜘蛛，就寫baiduspider
Disallow: #是禁止收錄的意思
Disallow: / #表示禁止所有收錄。直接再Disallow:后面加一個斜杠。
Disallow: /網(wǎng)站后臺目錄/ #屏蔽目錄的格式
Disallow: /404.html #屏蔽404頁面
robots.txt里面，任何空格，換行都是被忽略的。robots.txt只看命令的順序，空格、換行都是為了我們看的方便。
6。robots.txt該如何寫，才優(yōu)化最佳？
看完了前面5點，相信你對如何優(yōu)化最佳應(yīng)該有一個很好的理解了。
1）屏蔽掉對網(wǎng)站沒用的垃圾頁面，比如404
