前文提到過，除了分類算法以外，為分類文本作處理的特征提取算法也對最終效果有巨大影響，而特征提取算法又分為特征選擇和特征抽取兩大類，其中特征選擇算法有互信息，文檔頻率，信息增益，開方檢驗等等十?dāng)?shù)種，這次先介紹特征選擇算法中效果比較好的開方檢驗方法。

大家應(yīng)該還記得，開方檢驗其實是數(shù)理統(tǒng)計中一種常用的檢驗兩個變量獨立性的方法。（什么？你是文史類專業(yè)的學(xué)生，沒有學(xué)過數(shù)理統(tǒng)計？那你做什么文本分類？在這搗什么亂？）

開方檢驗最基本的思想就是通過觀察實際值與理論值的偏差來確定理論的正確與否。具體做的時候常常先假設(shè)兩個變量確實是獨立的（行話就叫做“原假設(shè)”），然后觀察實際值（也可以叫做觀察值）與理論值（這個理論值是指“如果兩者確實獨立”的情況下應(yīng)該有的值）的偏差程度，如果偏差足夠小，我們就認為誤差是很自然的樣本誤差，是測量手段不夠精確導(dǎo)致或者偶然發(fā)生的，兩者確確實實是獨立的，此時就接受原假設(shè)；如果偏差大到一定程度，使得這樣的誤差不太可能是偶然產(chǎn)生或者測量不精確所致，我們就認為兩者實際上是相關(guān)的，即否定原假設(shè)，而接受備擇假設(shè)。

那么用什么來衡量偏差程度呢？假設(shè)理論值為E（這也是數(shù)學(xué)期望的符號哦），實際值為x，如果僅僅使用所有樣本的觀察值與理論值的差值x-E之和

來衡量，單個的觀察值還好說，當(dāng)有多個觀察值x₁，x₂，x₃的時候，很可能x₁-E，x₂-E，x₃-E的值有正有負，因而互相抵消，使得最終的結(jié)果看上好像偏差為0，但實際上每個都有偏差，而且都還不?。〈藭r很直接的想法便是使用方差代替均值，這樣就解決了正負抵消的問題，即使用

        

 

這時又引來了新的問題，對于500的均值來說，相差5其實是很小的（相差1%），而對20的均值來說，5相當(dāng)于25%的差異，這是使用方差也無法體現(xiàn)的。因此應(yīng)該考慮改進上面的式子，讓均值的大小不影響我們對差異程度的判斷

              

             

上面這個式子已經(jīng)相當(dāng)好了。實際上這個式子就是開方檢驗使用的差值衡量公式。當(dāng)提供了數(shù)個樣本的觀察值x₁，x₂，……x_i ，……x_n之后，代入到式（1）中就可以求得開方值，用這個值與事先設(shè)定的閾值比較，如果大于閾值（即偏差很大），就認為原假設(shè)不成立，反之則認為原假設(shè)成立。

在文本分類問題的特征選擇階段，我們主要關(guān)心一個詞t（一個隨機變量）與一個類別c（另一個隨機變量）之間是否相互獨立？如果獨立，就可以說詞t對類別c完全沒有表征作用，即我們根本無法根據(jù)t出現(xiàn)與否來判斷一篇文檔是否屬于c這個分類。但與最普通的開方檢驗不同，我們不需要設(shè)定閾值，因為很難說詞t和類別c關(guān)聯(lián)到什么程度才算是有表征作用，我們只想借用這個方法來選出一些最最相關(guān)的即可。

此時我們?nèi)匀恍枰靼讓μ卣鬟x擇來說原假設(shè)是什么，因為計算出的開方值越大，說明對原假設(shè)的偏離越大，我們越傾向于認為原假設(shè)的反面情況是正確的。我們能不能把原假設(shè)定為“詞t與類別c相關(guān)“？原則上說當(dāng)然可以，這也是一個健全的民主主義社會賦予每個公民的權(quán)利（笑），但此時你會發(fā)現(xiàn)根本不知道此時的理論值該是多少！你會把自己繞進死胡同。所以我們一般都使用”詞t與類別c不相關(guān)“來做原假設(shè)。選擇的過程也變成了為每個詞計算它與類別c的開方值，從大到小排個序（此時開方值越大越相關(guān)），取前k個就可以（k值可以根據(jù)自己的需要選，這也是一個健全的民主主義社會賦予每個公民的權(quán)利）。

好，原理有了，該來個例子說說到底怎么算了。

比如說現(xiàn)在有N篇文檔，其中有M篇是關(guān)于體育的，我們想考察一個詞“籃球”與類別“體育”之間的相關(guān)性（任誰都看得出來兩者很相關(guān)，但很遺憾，我們是智慧生物，計算機不是，它一點也看不出來，想讓它認識到這一點，只能讓它算算看）。我們有四個觀察值可以使用：

1.         包含“籃球”且屬于“體育”類別的文檔數(shù)，命名為A

2.         包含“籃球”但不屬于“體育”類別的文檔數(shù)，命名為B

3.         不包含“籃球”但卻屬于“體育”類別的文檔數(shù)，命名為C

4.         既不包含“籃球”也不屬于“體育”類別的文檔數(shù)，命名為D

用下面的表格更清晰：

如果有些特點你沒看出來，那我說一說，首先，A+B+C+D=N（這，這不廢話嘛）。其次，A+C的意思其實就是說“屬于體育類的文章數(shù)量”，因此，它就等于M，同時，B+D就等于N-M。

好，那么理論值是什么呢？以包含“籃球”且屬于“體育”類別的文檔數(shù)為例。如果原假設(shè)是成立的，即“籃球”和體育類文章沒什么關(guān)聯(lián)性，那么在所有的文章中，“籃球”這個詞都應(yīng)該是等概率出現(xiàn)，而不管文章是不是體育類的。這個概率具體是多少，我們并不知道，但他應(yīng)該體現(xiàn)在觀察結(jié)果中（就好比拋硬幣的概率是二分之一，可以通過觀察多次拋的結(jié)果來大致確定），因此我們可以說這個概率接近

（因為A+B是包含“籃球”的文章數(shù)，除以總文檔數(shù)就是“籃球”出現(xiàn)的概率，當(dāng)然，這里認為在一篇文章中出現(xiàn)即可，而不管出現(xiàn)了幾次）而屬于體育類的文章數(shù)為A+C，在這些個文檔中，應(yīng)該有

篇包含“籃球”這個詞（數(shù)量乘以概率嘛）。

但實際有多少呢？考考你（讀者：切，當(dāng)然是A啦，表格里寫著嘛……）。

此時對這種情況的差值就得出了（套用式（1）的公式），應(yīng)該是

同樣，我們還可以計算剩下三種情況的差值D₁₂，D₂₁，D₂₂，聰明的讀者一定能自己算出來（讀者：切，明明是自己懶得寫了……）。有了所有觀察值的差值，就可以計算“籃球”與“體育”類文章的開方值

把D₁₁，D₁₂，D₂₁，D₂₂的值分別代入并化簡，可以得到