LibSVM學(xué)習(xí)（五）——分界線的輸出
對(duì)于學(xué)習(xí)SVM人來(lái)說(shuō)，要判斷SVM效果，以圖形的方式輸出的分解線是最直觀的。LibSVM自帶了一個(gè)可視化的程序svm-toy，用來(lái)輸出類之間的分界線。他是先把樣本文件載入，然后進(jìn)行訓(xùn)練，通過(guò)對(duì)每個(gè)像素點(diǎn)的坐標(biāo)進(jìn)行判斷，看屬于哪一類，就附上那類的顏色，從而使類與類之間形成分割線。我們這一節(jié)不討論svm-toy怎么使用，因?yàn)檫@個(gè)是“傻瓜”式的，沒(méi)什么好討論的。這一節(jié)我們主要探討怎么結(jié)合訓(xùn)練結(jié)果文件，自己編程輸出分界線。
為什么說(shuō)是分界線呢，其實(shí)嚴(yán)格說(shuō)來(lái)是分解超平面，但是我們?yōu)榱四苤庇^用繪圖工具繪(比如matlab)出圖來(lái)只能輸出具有二維（也就是特征數(shù)是2）的樣本分界，因此也就成了線了。好了，閑話少說(shuō)，進(jìn)入正題。要繪分界線，就要用到訓(xùn)練結(jié)果，我們?cè)诘诙?jié)和第三節(jié)都討論了，訓(xùn)練結(jié)果（或訓(xùn)練模型）文件怎么輸出，但是，沒(méi)怎么詳細(xì)說(shuō)明怎么使用訓(xùn)練結(jié)果，現(xiàn)在具體說(shuō)明。下面是兩個(gè)模型文件：
圖5.1 兩類模型文件 圖5.2 三類模型文件
從圖5.1和5.2比較可以看出，兩類只存在一個(gè)分類器，因此每個(gè)支持向量對(duì)應(yīng)的系數(shù)α(也就是SV的第一排)，也只有 1個(gè)（當(dāng)然，截距rho也只有一個(gè)）。這種情況最簡(jiǎn)單，只要把相應(yīng)的支持向量和α的值帶入方程：
(5.1)
找到為0的解，就是分界點(diǎn)了。（式中，有些文獻(xiàn)是+b，libSVM采用的是-b）
對(duì)于三類或多類時(shí)，情況就比較復(fù)雜。我們?cè)瓉?lái)討論過(guò)，對(duì)于類數(shù)k>2的情況，分類器個(gè)數(shù)為k×(k-1)/2個(gè)，那么對(duì)應(yīng)的b值（也就是rho）應(yīng)該也是k×(k-1)/2個(gè)。那么每個(gè)支持向量對(duì)應(yīng)的系數(shù)α是多少呢？是k-1個(gè)，因?yàn)槊總€(gè)支持向量（sv）與其他每個(gè)類都有一個(gè)系數(shù)相對(duì)應(yīng)。當(dāng)然，和有的類對(duì)應(yīng)時(shí)可能不是標(biāo)準(zhǔn)支持向量(0<alpha[i]<C)，但是至少和其中一個(gè)類對(duì)應(yīng)是標(biāo)準(zhǔn)的。我們先看一下圖5.2的SV的數(shù)據(jù)結(jié)構(gòu)：
各nSV對(duì)應(yīng)的αiyi
特征1
特征2
類0(label為-1)
前13個(gè)
類0 - V - 類1
類0 - V - 類2
1:0.297595
2:1.197805
0.4800095239454689
0.2016577869168293
類1(label為0)
中間9個(gè)
類1 - V - 類0
類1 - V - 類2
1:3.621706
2:1.263636
-0.6580578158072528
0.7036762846823739
類2(label為1)
后8個(gè)
類2 - V - 類0
類2 - V - 類1
1:8.296066
2:7.225341
-0.7056286598529473
-0.6494097661702236
從表中，可以看出，每個(gè)支持向量(SV)都有相應(yīng)的k-1（這里的k為3）個(gè)α，后面就是向量的數(shù)據(jù)。因此，輸出分界線時(shí)，只要認(rèn)清系數(shù)的位置就可以了。如要輸出類0和類2之間的分界線，就要帶入類0的第二列和類2的第1列中的α。
這里需要重點(diǎn)說(shuō)明的是：文件輸出的不是單純的α，實(shí)際上是αiyi（這里的yi是在訓(xùn)練時(shí)的+1或-1，而不是原始樣本的label），因此在帶入5.1式時(shí)，不需要判斷yi的值了。
了解了數(shù)據(jù)結(jié)構(gòu)以后，就是求解方程。5.1式是個(gè)多元方程（這和x的維數(shù)有關(guān)，這里討論的是2維的，因此是二元方程），而只有一個(gè)等式，因此要對(duì)其中一個(gè)參數(shù)做定常處理。先求出其中一個(gè)參數(shù)的范圍，不妨設(shè)為x[0]（在繪圖時(shí)相當(dāng)于x坐標(biāo)軸）x_max和x_min，然后分成100等分，對(duì)每一個(gè)節(jié)點(diǎn)處
x[0]i = i×(x_max- x_min)/100+ x_min
這樣，x[0]就相當(dāng)于固定了，然后代入5.1式求x[1]（也就是y）。這就轉(zhuǎn)化成了一元方程，可以采用傳統(tǒng)的數(shù)學(xué)解法，這里，我采用的是網(wǎng)絡(luò)遍歷法。也就是對(duì)x[1]也分成100分進(jìn)行遍歷，把節(jié)點(diǎn)處的x[1]：
x[1]j = j×(y_max- y_min)/100+ y_min
代入5.1式，看是否接近于0，如果接近0，說(shuō)明此點(diǎn)是邊界點(diǎn)，然后輸出坐標(biāo)就可以了。
for(i = 0; i < 100; i ++)
for(j = 0; j < 100; j ++)
{
X[0] = x[0]i;
X[1] = x[1]j;
if( )
cout << X[0] << “ “ << X[1] <<endl;
}
分界點(diǎn)坐標(biāo)輸出以后，就可以用matlab把分界線繪制出來(lái)了。
！
