摘要：動(dòng)態(tài)網(wǎng)站豐富了網(wǎng)站的功能，但是對(duì)于搜索引擎來(lái)說，情況就不同了，動(dòng)態(tài)頁(yè)面是在用戶“輸入內(nèi)容”或者進(jìn)行“選擇”時(shí)動(dòng)態(tài)生成的，但是搜索引擎的“搜索機(jī)器人”無(wú)法“輸入”和“選擇”。另外，搜索引擎要避免“搜索機(jī)器人陷阱（spider traps）”的腳本錯(cuò)誤。
一、動(dòng)態(tài)網(wǎng)站的出現(xiàn)和優(yōu)勢(shì)
最早互聯(lián)網(wǎng)出現(xiàn)時(shí)，站點(diǎn)內(nèi)容都是以HTML靜態(tài)頁(yè)面形式存放在服務(wù)器上，訪問者瀏覽到的頁(yè)面都是這些實(shí)際存在的靜態(tài)頁(yè)面。隨著技術(shù)的發(fā)展，特別是數(shù)據(jù)庫(kù)和腳本技術(shù)PERL、ASP、PHP和JSP的發(fā)展，越來(lái)越多的站點(diǎn)都開始采取動(dòng)態(tài)的頁(yè)面發(fā)布手段。比如，我們?cè)贕OOGLE.COM上搜索一個(gè)內(nèi)容，得到的搜索結(jié)果頁(yè)面文件"本身"在GOOGLE服務(wù)器上并不存在，而是通過程序在我們輸入搜索內(nèi)容時(shí)調(diào)用后臺(tái)數(shù)據(jù)庫(kù)實(shí)時(shí)生成的，也就是說，這些結(jié)果頁(yè)面是動(dòng)態(tài)的。
靜態(tài)頁(yè)面的站點(diǎn)只涉及文件的傳輸問題，而動(dòng)態(tài)站點(diǎn)則復(fù)雜得多，用戶和站點(diǎn)之間出現(xiàn)大量的交互，網(wǎng)站不再僅僅是內(nèi)容的發(fā)布，而是成為了一種"應(yīng)用（Application）"，是軟件業(yè)向互聯(lián)網(wǎng)上的擴(kuò)張，從軟件的角度看，動(dòng)態(tài)站點(diǎn)是邏輯應(yīng)用層和數(shù)據(jù)層的分離，數(shù)據(jù)庫(kù)負(fù)責(zé)站點(diǎn)數(shù)據(jù)的存儲(chǔ)管理，而ASP、PHP、JSP等負(fù)責(zé)處理站點(diǎn)的邏輯應(yīng)用。這樣做的好處除了增加很多交互功能外，更重要的是站點(diǎn)的維護(hù)、更新和升級(jí)都方便了許多?？梢哉f，沒有動(dòng)態(tài)網(wǎng)站技術(shù)，目前互聯(lián)網(wǎng)上的這些超大型站點(diǎn)就不可能出現(xiàn)。
二、搜索引擎抓取動(dòng)態(tài)網(wǎng)站頁(yè)面時(shí)面臨的問題
從用戶的角度看，動(dòng)態(tài)網(wǎng)站非常不錯(cuò)，豐富了站點(diǎn)的功能，但是對(duì)于搜索引擎來(lái)說，情況就不同了。（關(guān)于搜索引擎和分類目錄的區(qū)別，以及搜索引擎的工作原理，請(qǐng)? "了解搜索引擎"）
根本的問題在于"輸入"和"選擇"，動(dòng)態(tài)頁(yè)面是在用戶"輸入內(nèi)容"或者進(jìn)行"選擇"時(shí)動(dòng)態(tài)生成的，但是搜索引擎的"搜索機(jī)器人"無(wú)法"輸入"和"選擇"。比如我們要在當(dāng)當(dāng)書店站點(diǎn)查看馮英健的《網(wǎng)絡(luò)營(yíng)銷基礎(chǔ)與實(shí)踐》一書，介紹頁(yè)面是動(dòng)態(tài)生成的，URL地址是：http://www.dangdang.com/product_detail/product_detail.asp?product_id=493698
這里在"？"后面的product_id參數(shù)值需要我們輸入的，"搜索機(jī)器人"可以通過鏈接找到http://www.dangdang.com/product_detail/product_detail.asp 頁(yè)面，但是它無(wú)法輸入"？"后面的product_id參數(shù)值，從而無(wú)法抓取這個(gè)頁(yè)面文件。
另外，對(duì)于通過鏈接達(dá)到這種帶"？"的頁(yè)面，技術(shù)上搜索引擎可以抓取，但是一般情況下搜索引擎選擇不去抓取，這是為了避免一種叫"搜索機(jī)器人陷阱（spider traps）"的腳本錯(cuò)誤，這種錯(cuò)誤會(huì)讓搜索機(jī)器人進(jìn)行無(wú)限循環(huán)的抓取，無(wú)法退出而浪費(fèi)時(shí)間。
三、動(dòng)態(tài)網(wǎng)站的搜索引擎策略
動(dòng)態(tài)網(wǎng)站要被搜索引擎抓取，可以采用內(nèi)容發(fā)布系統(tǒng)軟件將動(dòng)態(tài)站點(diǎn)轉(zhuǎn)化成靜態(tài)頁(yè)面，這種辦法對(duì)于頁(yè)面發(fā)布后變動(dòng)少的站點(diǎn)比較合適，比如一些新聞?lì)惖恼军c(diǎn)（如新浪的新聞中心：http://news.sina.com.cn/ ）。
一般的動(dòng)態(tài)網(wǎng)站可以通過下面的辦法讓搜索引擎抓取：
首先，我們要讓動(dòng)態(tài)頁(yè)面的URL地址中沒有"？"，讓動(dòng)態(tài)頁(yè)面看上去象"靜態(tài)頁(yè)面"?？纯聪旅孢@個(gè)頁(yè)面http://www.amazon.com/exec/obidos/tg/detail/-/043935806X/ ，這明顯是一個(gè)動(dòng)態(tài)頁(yè)面，但是URL地址看上去卻象"靜態(tài)頁(yè)面"。針對(duì)不同的動(dòng)態(tài)技術(shù)可以采用下面技術(shù)實(shí)現(xiàn)：
·對(duì)于采用ASP技術(shù)的動(dòng)態(tài)頁(yè)面Exception Digital公司提供一種工具叫著XQASP（http://www.xde.net/products/product_xqasp.htm ）可以將"？"替換為"/"。
·對(duì)于采用ColdFusion技術(shù)的站點(diǎn)，需要重新配置服務(wù)器上的ColdFusion，用"/"代替"？"將參數(shù)傳輸?shù)経RL，更詳細(xì)的信息請(qǐng)見http://coldfusion.com/ 站點(diǎn)。
·對(duì)于使用Apache服務(wù)器的站點(diǎn)，可以使用rewrite模塊將帶參數(shù)的URL地址轉(zhuǎn)換成搜索引擎支持的形式，該模塊mod_rewrite在Apache服務(wù)器中不是缺省安裝的，詳細(xì)的信息請(qǐng)見http://httpd.apache.org/docs/mod/mod_rewrite.html 。
對(duì)于其他的動(dòng)態(tài)技術(shù)也能找到對(duì)應(yīng)的方法改變URL的形式。
然后，要?jiǎng)?chuàng)建一些靜態(tài)頁(yè)面指向這些動(dòng)態(tài)頁(yè)面（以改變過的URL鏈接）。
前面說過，搜索引擎機(jī)器人并不會(huì)自己"輸入"參數(shù)，所以要讓上面這些動(dòng)態(tài)頁(yè)面被搜索引擎抓取，我們還需要告訴機(jī)器人這些頁(yè)面的地址（也就是參數(shù)）。我們可以創(chuàng)建一些靜態(tài)的頁(yè)面，一般在網(wǎng)絡(luò)營(yíng)銷中稱? "gateway page"（入口頁(yè)面），這些頁(yè)面上有大量指向這些動(dòng)態(tài)頁(yè)面的鏈接。
將這些入口頁(yè)面的地址提交到搜索引擎，這些頁(yè)面和鏈接的動(dòng)態(tài)頁(yè)面（改變過URL形式）就能都被搜索引擎抓取了。
四、搜索引擎對(duì)動(dòng)態(tài)網(wǎng)站支持的改進(jìn)
在我們調(diào)整動(dòng)態(tài)站點(diǎn)適應(yīng)搜索引擎的同時(shí)，搜索引擎也在發(fā)展。到目前為止，絕大多數(shù)的搜索引擎還不支持動(dòng)態(tài)頁(yè)面的抓取，但是GOOGLE、HOTBOT等和國(guó)內(nèi)的百度開始嘗試抓取動(dòng)態(tài)網(wǎng)站頁(yè)面（包括? "？"的頁(yè)面），這就是我們現(xiàn)在在這些搜索引擎進(jìn)行搜索時(shí)，結(jié)果中出現(xiàn)動(dòng)態(tài)鏈接的原因。
這些搜索引擎抓取動(dòng)態(tài)頁(yè)面時(shí)，為了避免"搜索機(jī)器人陷阱"，都只抓取從靜態(tài)頁(yè)面（至少"看上去"是靜態(tài)的頁(yè)面）鏈接到的動(dòng)態(tài)頁(yè)面，而從動(dòng)態(tài)頁(yè)面鏈接出的動(dòng)態(tài)頁(yè)面都不再抓取。
所以一個(gè)動(dòng)態(tài)站點(diǎn)如果只針對(duì)上面這些搜索引擎，可以在上面小節(jié)介紹方法的基礎(chǔ)上簡(jiǎn)化：只用創(chuàng)建一些入口頁(yè)面，鏈接很多動(dòng)態(tài)頁(yè)面，然后將這些入口頁(yè)面遞交到這些搜索引擎就可以了。
對(duì)于直接使用動(dòng)態(tài)的URL地址，請(qǐng)注意：
·文件URL中不要有Session Id，同時(shí)不要用ID作為參數(shù)名稱（特別是對(duì)于GOOGLE）；
·參數(shù)越少越好，盡量不要超過2個(gè)；
·能在URL中不用參數(shù)盡量不要用，一些參數(shù)轉(zhuǎn)移到其他地方，這樣可以增加動(dòng)態(tài)頁(yè)面被抓取的深度和數(shù)目。
