1．Web挖掘概述
隨著以數(shù)據(jù)庫、數(shù)據(jù)倉庫等數(shù)據(jù)倉儲技術(shù)為基礎(chǔ)的信息系統(tǒng)在各行各業(yè)的應(yīng)用，使海量數(shù)據(jù)不斷產(chǎn)生。隨之而來的問題是如此多的數(shù)據(jù)讓人難以消化，無法從表面上看出他們所蘊涵的有用信息，更不用說有效地指導(dǎo)進一步的工作。如何從大量的數(shù)據(jù)中找到真正有用的信息成為人們關(guān)注的焦點，數(shù)據(jù)挖掘技術(shù)也正是伴隨著這種需求從研究走向應(yīng)用。
近年來，隨著Internet/Web技術(shù)的快速普及和迅猛發(fā)展，使各種信息可以以非常低的成本在網(wǎng)絡(luò)上獲得，由于Internet/WWW在全球互連互通，可以從中取得的數(shù)據(jù)量難以計算，而且Internet/WWW的發(fā)展趨勢繼續(xù)看好，特別是電子商務(wù)的蓬勃發(fā)展為網(wǎng)絡(luò)應(yīng)用提供了強大支持，如何在WWW這個全球最大的數(shù)據(jù)集合中發(fā)現(xiàn)有用信息無疑將成為數(shù)據(jù)挖掘研究的熱點。
Web挖掘指使用數(shù)據(jù)挖掘技術(shù)在WWW數(shù)據(jù)中發(fā)現(xiàn)潛在的、有用的模式或信息。Web挖掘研究覆蓋了多個研究領(lǐng)域，包括數(shù)據(jù)庫技術(shù)、信息獲取技術(shù)、統(tǒng)計學(xué)、人工智能中的機器學(xué)習(xí)和神經(jīng)網(wǎng)絡(luò)等。
2．Web挖掘流程
與傳統(tǒng)數(shù)據(jù)和數(shù)據(jù)倉庫相比，Web上的信息是非結(jié)構(gòu)化或半結(jié)構(gòu)化的、動態(tài)的、并且是容易造成混淆的，所以很難直接以Web網(wǎng)頁上的數(shù)據(jù)進行數(shù)據(jù)挖掘，而必須經(jīng)過必要的數(shù)據(jù)處理。典型Web挖掘的處理流程如下[3]：
1．查找資源：任務(wù)是從目標Web文檔中得到數(shù)據(jù)，值得注意的是有時信息資源不僅限于在線Web文檔，還包括電子郵件、電子文檔、新聞組，或者網(wǎng)站的日志數(shù)據(jù)甚至是通過Web形成的交易數(shù)據(jù)庫中的數(shù)據(jù)。
2．信息選擇和預(yù)處理：任務(wù)是從取得的Web資源中剔除無用信息和將信息進行必要的整理。例如從Web文檔中自動去除廣告連接、去除多余格式標記、自動識別段落或者字段并將數(shù)據(jù)組織成規(guī)整的邏輯形式甚至是關(guān)系表。
3．模式發(fā)現(xiàn)：自動進行模式發(fā)現(xiàn)?？梢栽谕粋€站點內(nèi)部或在多個站點之間進行。
4．模式分析：驗證、解釋上一步驟產(chǎn)生的模式?？梢允菣C器自動完成，也可以是與分析人員進行交互來完成。
Web挖掘作為一個完整的技術(shù)體系，在進行挖掘之前的信息獲得IR（Information Retrieval）和信息抽取IE(Information Extraction)相當重要。信息獲得（IR）的目的在于找到相關(guān)Web文檔，它只是把文檔中的數(shù)據(jù)看成未經(jīng)排序的詞組的集合，而信息抽取(IE)的目的在于從文檔中找到需要的數(shù)據(jù)項目，它對文檔的結(jié)構(gòu)合表達的含義感興趣,它得一個重要任務(wù)就是對數(shù)據(jù)進行組織整理并適當建立索引。
信息獲得（IR）和信息抽取(IE)技術(shù)的研究已近有很長時間，隨著Web技術(shù)的發(fā)展，基于Web技術(shù)的IR、IE得到了更多的重視。由于Web 數(shù)據(jù)量非常大，而且可能動態(tài)變化，用原來手工方式進行信息收集早已經(jīng)力不從心，目前的研究方向是用自動化、半自動化的方法在Web上進行IR和IE。在Web環(huán)境下既要處理非結(jié)構(gòu)化文檔，又要處理半結(jié)構(gòu)化的數(shù)據(jù)，最近幾年在這兩方面都有相應(yīng)的研究成果和具體應(yīng)用，特別是在大型搜索引擎中得到了很好的應(yīng)用。
3．Web挖掘分類及各自的研究現(xiàn)狀及發(fā)展
根據(jù)對Web數(shù)據(jù)的感興趣程度不同，Web挖掘一般可以分為三類：Web內(nèi)容挖掘（Web Content mining）、 Web結(jié)構(gòu)挖掘（ Web structure mining）、 Web 用法挖掘（Web usage Mining）
3．1、Web內(nèi)容挖掘：
指從Web內(nèi)容/數(shù)據(jù)/文檔中發(fā)現(xiàn)有用信息，Web上的信息五花八門，傳統(tǒng)的Internet由各種類型的服務(wù)和數(shù)據(jù)源組成，包括WWW、FTP、Telnet等，現(xiàn)在有更多的數(shù)據(jù)和端口可以使用，比如政府信息服務(wù)、數(shù)字圖書館、電子商務(wù)數(shù)據(jù)，以及其他各種通過Web可以訪問的數(shù)據(jù)庫。Web內(nèi)容挖掘的對象包括文本、圖象、音頻、視頻、多媒體和其他各種類型的數(shù)據(jù)。其中針對無結(jié)構(gòu)化文本進行的Web挖掘被歸類到基于文本的知識發(fā)現(xiàn)（KDT）領(lǐng)域，也稱文本數(shù)據(jù)挖掘或文本挖掘，是Web挖掘中比較重要的技術(shù)領(lǐng)域，也引起了許多研究者的關(guān)注。最近在Web多媒體數(shù)據(jù)挖掘方面的研究成為另一個熱點。
Web內(nèi)容挖掘一般從兩個不同的觀點來進行研究。從資源查找（IR）的觀點來看，Web內(nèi)容挖掘的任務(wù)是從用戶的角度出發(fā)，怎樣提高信息質(zhì)量和幫助用戶過濾信息。而從DB的角度講Web內(nèi)容挖掘的任務(wù)主要是試圖對Web上的數(shù)據(jù)進行集成、建模，以支持對Web數(shù)據(jù)的復(fù)雜查詢。
3．1．1從資源查找（Information Retrival）的觀點挖掘非結(jié)構(gòu)化文檔：
非結(jié)構(gòu)化文檔主要指Web上的自由文本，包括小說、新聞等。在這方面的研究相對比較多一些，大部分研究都是建立在詞匯袋（bag of words）或稱向量表示法（vector representation）的基礎(chǔ)上，這種方法將單個的詞匯看成文檔集合中的屬性，只從統(tǒng)計的角度將詞匯孤立地看待而忽略該詞匯出現(xiàn)的位置和上下文環(huán)境。屬性可以是布爾型，根據(jù)詞匯是否在文檔中出現(xiàn)而定，也可以有頻度，即該詞匯在文檔中的出現(xiàn)頻率。這種方法可以擴展為選擇終結(jié)符、標點符號、不常用詞匯的屬性作為考察集合。詞匯袋方法的一個弊端是自由文本中的數(shù)據(jù)豐富，詞匯量非常大，處理起來很困難，為解決這個問題人們做了相應(yīng)的研究，采取了不同技術(shù)，如信息增益，交叉熵、差異比等，其目的都是為了減少屬性。另外，一個比較有意義的方法是潛在語義索引（Latent Semantic Indexing），它通過分析不同文檔中相同主題的共享詞匯，找到他們共同的根，用這個公共的根代替所有詞匯，以此來減少維空間。例如：“informing”、“information”、“informer”、“informed”可以用他們的根“inform”來表示，這樣可以減少屬性集合的規(guī)模。
其他的屬性表示法還有詞匯在文檔中的出現(xiàn)位置、層次關(guān)系、使用短語、使用術(shù)語、命名實體等，目前還沒有研究表明一種表示法明顯優(yōu)于另一種。
用資源查找（Information Retrival）的觀點挖掘半結(jié)構(gòu)化文檔：
與非結(jié)構(gòu)化數(shù)據(jù)相比，Web上的半結(jié)構(gòu)化文檔挖掘指在加入了HTML、超連接等附加結(jié)構(gòu)的信息上進行挖掘，其應(yīng)用包括超連接文本的分類、聚類、發(fā)現(xiàn)文檔之間的關(guān)系、提出半結(jié)構(gòu)化文檔中的模式和規(guī)則等。
3．1．2從數(shù)據(jù)庫（Database）的觀點挖掘非結(jié)構(gòu)化文檔：
數(shù)據(jù)庫技術(shù)應(yīng)用于Web挖掘主要是為了解決Web信息的管理和查詢問題。這些問題可以分為三類：Web信息的建模和查詢；信息抽取與集成；Web站點建構(gòu)和重構(gòu)。
從數(shù)據(jù)庫的觀點進行Web內(nèi)容挖掘主要是試圖建立Web站點的數(shù)據(jù)模型并加以集成，以支持復(fù)雜查詢，而不止是簡單的基于關(guān)鍵詞的搜索。這要通過找到Web文檔的模式、建立Web數(shù)據(jù)倉庫或Web知識庫或虛擬數(shù)據(jù)庫來實現(xiàn)。相關(guān)研究主要是基于半結(jié)構(gòu)化數(shù)據(jù)進行的。
數(shù)據(jù)庫觀點主要利用OEM(Object Exchange Model)模型將半結(jié)構(gòu)化數(shù)據(jù)表示成標識圖。OEM中的每個對象都有對象標識（OID）和值，值可以是原子類型，如整型、字符串型、gif、html等，也可以是一個復(fù)合類型，以對象引用集合的形式表示。由于Web數(shù)據(jù)量非常龐大，從應(yīng)用的角度考慮，很多研究只處理辦結(jié)構(gòu)化數(shù)據(jù)的一個常用自集。一些有意義的應(yīng)用是建立多層數(shù)據(jù)庫（MLDB），每一層是它下面層次的概化，這樣就可以進行一些特殊的查詢和信息處理。對于在半結(jié)構(gòu)化數(shù)據(jù)上的查詢語言研究也得到了人們的重視并做了專題研究。
由于在數(shù)據(jù)庫觀點下數(shù)據(jù)的表示方法比較特殊，其中包含了關(guān)系層次和圖形化的數(shù)據(jù)，所以大部分建立在扁平數(shù)據(jù)集合之上的數(shù)據(jù)挖掘方法不能直接使用，目前已經(jīng)有人針對多層數(shù)據(jù)庫挖掘算法進行研究。
3．2、Web結(jié)構(gòu)挖掘：
Web結(jié)構(gòu)挖掘的對象是Web本身的超連接，即對Web文檔的結(jié)構(gòu)進行挖掘。對于給定的Web文檔集合，應(yīng)該能夠通過算法發(fā)現(xiàn)他們之間連接情況的有用信息，文檔之間的超連接反映了文檔之間的包含、引用或者從屬關(guān)系，引用文檔對被引用文檔的說明往往更客觀、更概括、更準確。
Web結(jié)構(gòu)挖掘在一定程度上得益于社會網(wǎng)絡(luò)和引用分析的研究。把網(wǎng)頁之間的關(guān)系分為incoming連接和outgoing連接，運用引用分析方法找到同一網(wǎng)站內(nèi)部以及不同網(wǎng)站之間的連接關(guān)系。在Web結(jié)構(gòu)挖掘領(lǐng)域最著名的算法是HITS算法和PageRank算法。他們的共同點是使用一定方法計算Web頁面之間超連接的質(zhì)量，從而得到頁面的權(quán)重。著名的Clever和Google搜索引擎就采用了該類算法。
此外，Web結(jié)構(gòu)挖掘另一個嘗試是在Web數(shù)據(jù)倉庫環(huán)境下的挖掘，包括通過檢查同一臺服務(wù)器上的本地連接衡量Web結(jié)構(gòu)挖掘Web站點的完全性，在不同的Web數(shù)據(jù)倉庫中檢查副本以幫助定位鏡像站點，通過發(fā)現(xiàn)針對某一特定領(lǐng)域超連接的層次屬性去探索信息流動如何影響Web站點的設(shè)計。
3．3、Web用法挖掘（Web usage Mining）：
即Web使用記錄挖掘，在新興的電子商務(wù)領(lǐng)域有重要意義，它通過挖掘相關(guān)的Web日志記錄，來發(fā)現(xiàn)用戶訪問Web頁面的模式，通過分析日志記錄中的規(guī)律，可以識別用戶的忠實度、喜好、滿意度，可以發(fā)現(xiàn)潛在用戶，增強站點的服務(wù)競爭力。Web使用記錄數(shù)據(jù)除了服務(wù)器的日志記錄外還包括代理服務(wù)器日志、瀏覽器端日志、注冊信息、用戶會話信息、交易信息、Cookie中的信息、用戶查詢、鼠標點擊流等一切用戶與站點之間可能的交互記錄?？梢奧eb使用記錄的數(shù)據(jù)量是非常巨大的，而且數(shù)據(jù)類型也相當豐富。根據(jù)對數(shù)據(jù)源的不同處理方法，Web 用法挖掘可以分為兩類，一類是將Web使用記錄的數(shù)據(jù)轉(zhuǎn)換并傳遞進傳統(tǒng)的關(guān)系表里，再使用數(shù)據(jù)挖掘算法對關(guān)系表中的數(shù)據(jù)進行常規(guī)挖掘；另一類是將Web 使用記錄的數(shù)據(jù)直接預(yù)處理再進行挖掘。Web 用法挖掘中的一個有趣的問題是在多個用戶使用同一個代理服務(wù)器的環(huán)境下如何標識某個用戶，如何識別屬于該用戶的會話和使用記錄，這個問題看起來不大，但卻在很大程度上影響著挖掘質(zhì)量，所以有人專門在這方面進行了研究。通常來講，經(jīng)典的數(shù)據(jù)挖掘算法都可以直接用到Web 用法挖掘上來，但為了提高挖掘質(zhì)量，研究人員在擴展算法上進行了努力，包括復(fù)合關(guān)聯(lián)規(guī)則算法、改進的序列發(fā)現(xiàn)算法等。
在[4]中，根據(jù)數(shù)據(jù)來源、數(shù)據(jù)類型、數(shù)據(jù)集合中的用戶數(shù)量、數(shù)據(jù)集合中的服務(wù)器數(shù)量等將Web 用法挖掘分為五類：
●個性挖掘：針對單個用戶的使用記錄對該用戶進行建模，結(jié)合該用戶基本信息分析他的使用習(xí)慣、個人喜好，目的是在電子商務(wù)環(huán)境下為該用戶提供與眾不同的個性化服務(wù)。
●系統(tǒng)改進：Web服務(wù)（數(shù)據(jù)庫、網(wǎng)絡(luò)等）的性能和其他服務(wù)質(zhì)量是衡量用戶滿意度的關(guān)鍵指標，Web 用法挖掘可以通過用戶的擁塞記錄發(fā)現(xiàn)站點的性能瓶頸，以提示站點管理者改進Web緩存策略、網(wǎng)絡(luò)傳輸策略、流量負載平衡機制和數(shù)據(jù)的分布策略。此外，可以通過分析網(wǎng)絡(luò)的非法入侵數(shù)據(jù)找到系統(tǒng)弱點，提高站點安全性，這在電子商務(wù)環(huán)境下尤為重要。
●站點修改：站點的結(jié)構(gòu)和內(nèi)容是吸引用戶的關(guān)鍵。Web 用法挖掘通過挖掘用戶的行為記錄和反饋情況為站點設(shè)計者提供改進的依，比如頁面連接情況應(yīng)如何組織、那些頁面應(yīng)能夠直接訪問等。
●智能商務(wù)：用戶怎樣使用Web站點的信息無疑是電子商務(wù)銷售商關(guān)心的重點，用戶一次訪問的周期可分為被吸引、駐留、購買和離開四個步驟，Web用法挖掘可以通過分析用戶點擊流等Web日志信息挖掘用戶行為的動機，以幫助銷售商合理安排銷售策略。
●Web特征描述：這類研究跟關(guān)注這樣通過用戶對站點的訪問情況統(tǒng)計各個用戶在頁面上的交互情況，對用戶訪問情況進行特征描述。
4．結(jié)束語
盡管Web挖掘的形式和研究方向?qū)映霾桓F，但我認為隨著電子商務(wù)的興起和迅猛發(fā)展，未來Web挖掘的一個重要應(yīng)用方向?qū)⑹请娮由虅?wù)系統(tǒng)。而與電子商務(wù)關(guān)系最為密切的是用法挖掘（Usage Mining），也就是說在這個領(lǐng)域?qū)掷m(xù)得到更多的重視。另外，在搜索引擎的研究方面，結(jié)構(gòu)挖掘的研究已經(jīng)相對成熟，基于文本的內(nèi)容挖掘也已經(jīng)有許多研究，下一步將會有更多的研究者把多媒體挖掘最為研究方向。
參考文獻：
[1] Jiawei Han , Micheline Kamber. DataMining: Concept and Techniques. Morgan Kaufmann Publishers,Inc.2001.
[3] R. Kosla and H. Blockeel, “Web mining research a survey,” SIG KDD Explorations, vol. 2, pp. 1–15, July 2000.
[4] J. Srivastava, R. Cooley, M. Deshpande and P. Tan, Web usage mining:discovery and applications of usage patterns from web data. SIGKDDExplorations, 1(2):12–23, 2000.
[5].S.K.Madria,S.S.Bhowmick,W.K.Ng,and E.P.Lim.Research issues in web data mining.In Proceedings of Data Warehousing and Knowledge Discovery,First International Conference,DaWaK’99,pages 303-312,1999.
[6] Pal S.K., Talwar V., and Mitra P., Web Mining in SoftComputing Framework: Relevance, State of he Art andFuture Directions, IEEE Transactions on NeuralNetworks, Volume: 13, Issue: 5, pp.1163 –1177, 2002.
[7] 陳莉，焦李成.Internet/Web數(shù)據(jù)挖掘研究現(xiàn)狀及最新進展.西安電子科技大學(xué)學(xué)報（自然科學(xué)版）.2001年2月第28卷第1期.
