如果你經(jīng)常在網(wǎng)上購物的話，當(dāng)你通過百度搜索某一件商品，你有沒有發(fā)現(xiàn)，從來沒有出現(xiàn)過來自淘寶網(wǎng)的商品結(jié)果，如果你還沒有注意到這個(gè)現(xiàn)象，你現(xiàn)在就可以搜索下試試，比如搜索“iphone手機(jī)”、“平板電腦”等等。這就是因?yàn)榘俣人阉髦┲氡惶詫毦W(wǎng)屏蔽了抓取，從而導(dǎo)致百度不能索引淘寶網(wǎng)數(shù)據(jù)，其實(shí)這已經(jīng)不能夠算是個(gè)新聞了，但是卻值得我們思考下這個(gè)現(xiàn)象，淘寶為什么要屏蔽百度搜索呢？
上圖表示的就是淘寶網(wǎng)的robots.txt文件的內(nèi)容，淘寶網(wǎng)的這種寫法的表示意思是：屏蔽百度蜘蛛抓取淘寶網(wǎng)站目錄下的所有數(shù)據(jù)，而且這里寫法是表示只屏蔽百度蜘蛛，對于其他搜索引擎則沒有屏蔽。
那么，為什么淘寶網(wǎng)要屏蔽百度搜索引擎的抓取呢，以下是個(gè)人的一些看法，僅供大家參考：
（一）保護(hù)用戶信息、商業(yè)信息
robots.txt文件的存在就是為了禁止搜索引擎抓取網(wǎng)站中不想被公開的內(nèi)容，如果網(wǎng)站沒有書寫禁止抓取全部數(shù)據(jù)的命令，而只是禁止了其中的一部分內(nèi)容，可能會(huì)由于網(wǎng)站管理的疏忽，結(jié)果屏蔽的不是很準(zhǔn)確，所以對于電商類網(wǎng)站這樣的具有大量用戶隱私數(shù)據(jù)的網(wǎng)站，應(yīng)該更好的屏蔽這些搜索引擎的抓取，而全部屏蔽這是個(gè)簡單而又有效的方法。
（二）防止搜索引擎帶來的誠信和信譽(yù)問題
如果淘寶網(wǎng)公開讓搜索引擎抓取商品、店鋪信息，那么就會(huì)有賣家為了獲得在搜索引擎上更好的排名而使用搜索引擎優(yōu)化技術(shù)，如果該商品或店鋪確實(shí)能夠提供更好的服務(wù)，那么這種排名是可取的，但是如果有不法商家或者服務(wù)質(zhì)量不好的商家，讓他們獲得了好的排名，但是最終得到的確是劣質(zhì)的服務(wù)，那么這個(gè)對于淘寶網(wǎng)的信譽(yù)來說，將是一個(gè)很大的問題，顯然不利于淘寶的發(fā)展。信譽(yù)對電商站十分重要，尤其是像淘寶這樣的C2C類型的電商網(wǎng)站，用戶復(fù)雜，監(jiān)管難度太大。
（三）淘寶的實(shí)力保證與更好的占據(jù)市場
當(dāng)網(wǎng)民想到網(wǎng)上購物這個(gè)詞的時(shí)候，可能腦海中最先出現(xiàn)的就是淘寶，盡管如今的電商站層出不窮，但是淘寶卻已經(jīng)根深蒂固。淘寶擁有巨大的用戶群，就算屏蔽了百度蜘蛛的抓取，對淘寶來說影響并不是很大。而且屏蔽了搜索引擎的抓取之后，淘寶就減少了外部因素的干預(yù)，能夠更好的實(shí)現(xiàn)內(nèi)部的管理。比如，這樣就不會(huì)存在針對于搜索引擎的SEO優(yōu)化，雖然現(xiàn)在已經(jīng)出現(xiàn)了針對于淘寶的淘寶SEO優(yōu)化，但是這種針對于淘寶的操作，相對于搜索引擎來說，它能夠更好的進(jìn)行控制，因?yàn)槟阕龅倪@一切都是在我的地盤里面。
（四）以回應(yīng)百度在電商市場的競爭
大家可以看到百度的市場在不斷的擴(kuò)大，百度的產(chǎn)品與服務(wù)在不斷的推出，百度也宣稱將要做最大的媒體，它說的是媒體，而不再是最大的搜索引擎了，如果當(dāng)整個(gè)互聯(lián)網(wǎng)的流量大部分都流向了這個(gè)“最大的媒體”，那樣的互聯(lián)網(wǎng)還算正常嗎？百度也打算進(jìn)軍電子商務(wù)領(lǐng)域，在如今百度搜索占據(jù)了搜索主導(dǎo)地位的情況下，如果百度在推出電子商務(wù)，那么可想而知，當(dāng)我們搜索商品的時(shí)候，可能結(jié)果前幾的都是百度自己的結(jié)果，如果真是這樣對于淘寶，對于其他的電商，將是一個(gè)巨大的打擊。淘寶肯定不愿意自己的地位受到這樣的威脅，那么淘寶為了回應(yīng)百度，就果斷屏蔽百度蜘蛛的抓取，這樣用戶訪問淘寶就會(huì)減少對百度搜索的依賴，對于百度來說既是流量與用戶的損失，也讓自己處于了不利的地位。我覺得這也是為什么淘寶只屏蔽百度而不屏蔽其他搜索引擎的主要原因。
以下我們再來看兩幅圖：
百度搜索京東的返回結(jié)果
百度搜索淘寶的返回結(jié)果
第一幅圖是在百度中搜索“京東”的返回結(jié)果，可以看到排在第一名的是百度推廣，第二名才是京東的自然排名，京東的自然排名結(jié)果中可以看到以下幾點(diǎn)內(nèi)容：
第一點(diǎn)：標(biāo)題與京東首頁title標(biāo)簽中的標(biāo)題完全符合，即為“京東網(wǎng)上商城-綜合網(wǎng)購首選，正品行貨，機(jī)打發(fā)票，售后上門取件，省錢又放心”。
第二點(diǎn)：標(biāo)題下面的摘要內(nèi)容與京東首頁description標(biāo)簽中的內(nèi)容完全符合，即為“京東商城-專業(yè)的數(shù)碼網(wǎng)上購物商城,產(chǎn)品包括數(shù)碼、家電、手機(jī)、電腦配件、網(wǎng)絡(luò)產(chǎn)品等數(shù)萬種商品直銷,便捷，誠信的服務(wù),為您提供愉悅的網(wǎng)上商城購物體驗(yàn)!”
而當(dāng)我們看到第二幅圖的時(shí)候，就可以發(fā)現(xiàn)結(jié)果完全不一樣，結(jié)果中排在第一的是淘寶網(wǎng)，不是百度推廣結(jié)果。還有，看起來這個(gè)排在第一的“淘寶網(wǎng)”是一個(gè)自然排名的結(jié)果，但是仔細(xì)分析一下，會(huì)發(fā)現(xiàn)這個(gè)與其他的自然結(jié)果很不一樣。
第一點(diǎn)：標(biāo)題是“淘寶網(wǎng)”而不是淘寶主頁title標(biāo)簽中寫的“淘寶網(wǎng) - 淘！我喜歡”。
第二點(diǎn)：標(biāo)題下面不存在摘要內(nèi)容，只是很簡單的“淘寶網(wǎng)”三個(gè)字，這不是淘寶網(wǎng)沒有寫deｓｃｒｉｐｔion標(biāo)簽，而是因?yàn)榘俣戎┲氩荒茏ト√詫毜膬?nèi)容。
可能讀者會(huì)有這樣一個(gè)疑問，為什么淘寶網(wǎng)徹底屏蔽了百度的抓取，可是百度搜索中還是會(huì)出現(xiàn)這樣的“淘寶網(wǎng)”結(jié)果呢？我個(gè)人覺得原因有二：
第一，互聯(lián)網(wǎng)上有很多的網(wǎng)站都做了導(dǎo)向淘寶網(wǎng)的鏈接，而導(dǎo)向的錨文本關(guān)鍵詞通常都會(huì)是“淘寶網(wǎng)”三個(gè)字，故而可能會(huì)導(dǎo)致蜘蛛爬到了淘寶網(wǎng)，并將淘寶網(wǎng)三個(gè)字作為了關(guān)鍵詞。
第二，百度作為一大搜索引擎，淘寶作為網(wǎng)民上網(wǎng)購物的主要平臺(tái)，如果在百度中搜索不到淘寶網(wǎng)，網(wǎng)民會(huì)覺得百度真沒有用，連淘寶網(wǎng)都搜索不到還自稱最大的搜索引擎，所以，百度方面也必須要將淘寶結(jié)果返回出來，哪怕是在淘寶屏蔽抓取的情況下，也要人工干預(yù)的返回一個(gè)淘寶網(wǎng)的主頁鏈接。
淘寶為什么會(huì)屏蔽百度搜索，以上是我對這個(gè)問題的看法，如果分析的有不對的地方，可以在我博客中聯(lián)系我交流。
本文首發(fā)于葉德華的博客http://www.yedward.net/index.php/archives/904，轉(zhuǎn)載請注明出處。
