在談如何加快Google和百度對網(wǎng)站頁面的收錄之前，我想先解釋一下為什么要加快收錄速度。所有的站長都希望自己的網(wǎng)站能夠有比較好的搜索引擎表現(xiàn)。那么影響自己搜索引擎表現(xiàn)力的其中一項(xiàng)就是網(wǎng)站被收錄的頁面。雖然不是絕對，但是普遍來說，頁面收錄量大一些，網(wǎng)站的整體搜索引擎表現(xiàn)就會(huì)好一些。同時(shí)，網(wǎng)站的搜索引擎推廣絕非是幾個(gè)關(guān)鍵詞的優(yōu)化，而是一群關(guān)鍵詞都得到較好的排名，利用長尾理論，每個(gè)詞貢獻(xiàn)幾個(gè)訪問量來源，最終匯集成為一個(gè)巨大的搜索引擎訪問量來源。同時(shí)，還能更加廣泛地抓住潛在客戶。要做到這點(diǎn)，網(wǎng)站的頁面要盡可能被搜索引擎收錄，不然就無法做到一群關(guān)鍵詞都獲得很好的排名。所以，盡可能地讓自己的網(wǎng)站頁面都被收錄，這是所有站長都應(yīng)該做的。
要做好搜索引擎的收錄，其中最重要的還是網(wǎng)站的結(jié)構(gòu)。要說明這個(gè)問題，請?jiān)试S我介紹一下搜索引擎爬蟲的工作原理。搜索引擎爬蟲來收錄網(wǎng)站并非一次性就將整個(gè)網(wǎng)站就走一遍的，甚至很多時(shí)候爬蟲只是檢索了幾個(gè)頁面就會(huì)離開了。同時(shí)，爬蟲的工作分成兩個(gè)，一個(gè)是建立網(wǎng)址檢索任務(wù)，第二個(gè)是對任務(wù)表當(dāng)中的網(wǎng)址進(jìn)行檢索，并存入搜索數(shù)據(jù)庫。只要網(wǎng)站的所有頁面被放進(jìn)了檢索任務(wù)表，那么爬蟲就一定會(huì)來進(jìn)行那些網(wǎng)頁的收錄工作。
那么網(wǎng)址檢索任務(wù)又是如何建立的呢？當(dāng)爬蟲在檢索某一個(gè)頁面的時(shí)候，它會(huì)將這個(gè)頁面所包含的站內(nèi)網(wǎng)址放入檢索任務(wù)表。但是，并不是一定會(huì)將所有的網(wǎng)址都放進(jìn)去的。爬蟲會(huì)選擇什么網(wǎng)址？多少網(wǎng)址？其實(shí)并沒有什么規(guī)律。不過似乎越靠前的網(wǎng)址是越被重視。而且似乎遇到了站外鏈接、網(wǎng)址數(shù)量過多、重復(fù)的網(wǎng)址出現(xiàn)在任務(wù)表中的時(shí)候，就會(huì)停止收錄網(wǎng)址。而一旦停止，那么只有等待爬蟲在下一次來訪網(wǎng)站的時(shí)候才會(huì)更新網(wǎng)址任務(wù)表，那很可能就是幾天之后了。根據(jù)這個(gè)情況，如果想要讓網(wǎng)站更好地被收錄，要做到以下幾點(diǎn)：
1. 網(wǎng)站的內(nèi)容要層層遞進(jìn)，通過一個(gè)清晰的網(wǎng)站鏈接結(jié)構(gòu)，幫助爬蟲在幾次來訪網(wǎng)站后就可以把主要的網(wǎng)站頁面全部收錄。清晰的結(jié)構(gòu)通常是一個(gè)樹狀的，而且層級最好不要超過4層。網(wǎng)站結(jié)構(gòu)主要體現(xiàn)在導(dǎo)航條的部分，通過首頁的導(dǎo)航和每個(gè)欄目頁的二級導(dǎo)航進(jìn)入到內(nèi)容列表頁，最后指向文章頁。
2. 首頁的導(dǎo)航和欄目頁的導(dǎo)航一定要在代碼位置靠前，避免爬蟲在抓取到導(dǎo)航鏈接前就離開網(wǎng)站了。
3. 列表頁要巧妙使用翻頁機(jī)制，同一個(gè)頁面當(dāng)中列表的條數(shù)不要超過50條。數(shù)量太大，爬蟲會(huì)離開。翻頁空間也要做成第1.2.3.4.5.6.7.8.9頁這樣的模式，把后面的翻頁列表也讓爬蟲抓入任務(wù)列表庫。
4. 文章頁內(nèi)是鏈接最少的頁面，要充分利用這個(gè)特點(diǎn)，讓爬蟲在文章頁抓取的時(shí)候也能夠收錄到網(wǎng)站內(nèi)其它的頁面。這就需要文章內(nèi)容頁要有相關(guān)文章和推薦文章的鏈接。讓爬蟲在文章頁進(jìn)行網(wǎng)站結(jié)構(gòu)的橫向抓取。
5. 一個(gè)小技巧是做好Google Sitemap并且進(jìn)行準(zhǔn)確的提交到網(wǎng)站管理工具當(dāng)中去。這對Google的抓取很有幫助，是一種主動(dòng)為google提供抓取任務(wù)表的方式。另一個(gè)竅門是sitemap可以不止一個(gè)，而是每個(gè)欄目一個(gè)，這樣可以做到同步提交，加快收錄速度。
6. 讓最新的文章盡快的被收錄也是能夠讓收錄量不斷上升的方式。所以我們可以通過在首頁把最新的文章進(jìn)行展示，即可以保持網(wǎng)站的更新頻率，又讓最新的文章盡快被收錄。
7. 網(wǎng)站的內(nèi)容是一個(gè)持續(xù)的增長。有的網(wǎng)站通過信息抓取工具，從其它網(wǎng)站抓取大量文章，一次性導(dǎo)入到自己的網(wǎng)站當(dāng)中來，其實(shí)是很不健康的。搜索引擎對于這種短時(shí)間內(nèi)的突變非常敏感，甚至可能會(huì)進(jìn)行懲罰。所以，文章的增加一定要穩(wěn)定、持續(xù)。例如每日20-30篇的數(shù)量。
8. 最后，別忘記了在搜索引擎網(wǎng)站提交入口做一次提交。通常Google提交的一周左右開始進(jìn)行收錄，百度要2-3周才會(huì)開始收錄。（百度開始收錄后，只有首頁顯示被收錄，剩下的頁面通常要等一個(gè)月甚至更長的時(shí)間才會(huì)顯示。）
9. 多做一些外鏈，這樣可以增加爬蟲從其它網(wǎng)站來訪的幾率，從而讓爬蟲來訪的次數(shù)增加，自然增加收錄速度。
最后，以我的經(jīng)驗(yàn)來看，對于企業(yè)網(wǎng)站，Google收錄數(shù)在1000以上的時(shí)候，整體網(wǎng)站的各個(gè)頁面的搜索引擎表現(xiàn)力會(huì)有比較明顯的提升。收錄數(shù)對百度的影響較不如google的明顯，但是也是非常有用的。由于google的收錄比較有規(guī)律，也比較及時(shí)，所以大家可以以Google的收錄作為標(biāo)準(zhǔn)，然后等待百度的收錄慢慢提升上來吧。
