文本分類(lèi)問(wèn)題

其

分類(lèi)問(wèn)題沒(méi)有本質(zhì)

區(qū)別，其

以歸結(jié)

根據(jù)待分類(lèi)數(shù)據(jù)

某些特征

進(jìn)行匹配，當(dāng)然完全

匹配

不太

能

，因此必須（根據(jù)某種評(píng)價(jià)標(biāo)準(zhǔn)）選擇最優(yōu)

匹配結(jié)果，從而完成分類(lèi)。

　　因此核心

問(wèn)題便轉(zhuǎn)化

哪些特征表示

個(gè)文本才能保證有效

快速

分類(lèi)（注意這兩方面

需求往往

互相矛盾

）。因此自有文本分類(lèi)系統(tǒng)

那天起，就

直

特征

不同選擇主

著

派別

不同。

　　最早

詞匹配法僅僅根據(jù)文檔

否出現(xiàn)

類(lèi)名相同

詞（頂

再加入同義詞

處理）

判斷文檔

否屬于某個(gè)類(lèi)別。

顯然，這種過(guò)于簡(jiǎn)單

無(wú)法帶

良好

分類(lèi)效果。

　　

興起過(guò)

段時(shí)間

知識(shí)工程

則借助于專(zhuān)業(yè)人員

幫助，

每個(gè)類(lèi)別定義

量

推理規(guī)則，如果

篇文檔能滿(mǎn)足這些推理規(guī)則，則

以判定屬于該類(lèi)別。這里

特定規(guī)則

匹配程度成

文本

特征。由于

系統(tǒng)

加入

人

判斷

因素，準(zhǔn)確度比詞匹配法

提

。但這種

缺點(diǎn)仍然明顯，例如分類(lèi)

質(zhì)量嚴(yán)重依賴(lài)于這些規(guī)則

好壞，

就

依賴(lài)于制定規(guī)則

“人”

好壞；再比如制定規(guī)則

人都

專(zhuān)家級(jí)別，人力成本

幅

升常常令人難以承受；而知識(shí)工程最致命

弱點(diǎn)

完全不

推廣性，

個(gè)針

金融領(lǐng)域構(gòu)建

分類(lèi)系統(tǒng)，如果

擴(kuò)充

醫(yī)療或社

保險(xiǎn)等相關(guān)領(lǐng)域，則除

完全推倒重

以

沒(méi)有其

辦法，常常造成巨

知識(shí)

資金浪費(fèi)。

　　

人們意識(shí)

，究竟依據(jù)什么特征

判斷文本應(yīng)當(dāng)隸屬

類(lèi)別這個(gè)問(wèn)題，就連人類(lèi)自己都不太回答得清楚，有太

所謂“只

意

，不能言傳”

東西

里面。人類(lèi)

判斷

依據(jù)經(jīng)驗(yàn)以及直覺(jué)，因此自然而然

有人想

何讓機(jī)器像人類(lèi)

樣自己

通過(guò)

量同類(lèi)文檔

觀察

自己總結(jié)經(jīng)驗(yàn)，作

今

分類(lèi)

依據(jù)。

　　這便

統(tǒng)計(jì)學(xué)習(xí)

基本思想（

有人

這

類(lèi)

稱(chēng)

機(jī)器學(xué)習(xí)，兩種叫法只

涵蓋范圍

有些區(qū)別，均無(wú)不妥）。

　　統(tǒng)計(jì)學(xué)習(xí)

需

批由人工進(jìn)行

準(zhǔn)確分類(lèi)

文檔作

學(xué)習(xí)

材料（稱(chēng)

訓(xùn)練集，注意由人分類(lèi)

批文檔比從這些文檔

總結(jié)出準(zhǔn)確

規(guī)則成本

得

），計(jì)算機(jī)從這些文檔重挖掘出

些能夠有效分類(lèi)

規(guī)則，這個(gè)過(guò)程被形象

稱(chēng)

訓(xùn)練，而總結(jié)出

規(guī)則集合常常被稱(chēng)

分類(lèi)器。訓(xùn)練完成

，需

計(jì)算機(jī)從

沒(méi)有見(jiàn)過(guò)

文檔進(jìn)行分類(lèi)時(shí)，便使

這些分類(lèi)器

進(jìn)行。

　　現(xiàn)如今，統(tǒng)計(jì)學(xué)習(xí)

已經(jīng)成

文本分類(lèi)領(lǐng)域絕

主流。主

原因

于其

技術(shù)擁有堅(jiān)實(shí)

理論基礎(chǔ)（相比

，知識(shí)工程

專(zhuān)家

主觀因素居

），存

明確

評(píng)價(jià)標(biāo)準(zhǔn)，以及實(shí)際表現(xiàn)良好。

　　

章就深入統(tǒng)計(jì)學(xué)習(xí)

，看看這種

提，相關(guān)理論

具體實(shí)現(xiàn)。