核函數(shù)方法簡介
（1）核函數(shù)發(fā)展歷史
早在1964年Aizermann等在勢函數(shù)方法的研究中就將該技術(shù)引入到機(jī)器學(xué)習(xí)領(lǐng)域，但是直到1992年Vapnik等利用該技術(shù)成功地將線性SVMs推廣到非線性SVMs時(shí)其潛力才得以充分挖掘。而核函數(shù)的理論則更為古老，Mercer定理可以追溯到1909年，再生核希爾伯特空間(ReproducingKernel Hilbert Space, RKHS)研究是在20世紀(jì)40年代開始的。
（2）核函數(shù)方法原理
根據(jù)模式識(shí)別理論，低維空間線性不可分的模式通過非線性映射到高維特征空間則可能實(shí)現(xiàn)線性可分，但是如果直接采用這種技術(shù)在高維空間進(jìn)行分類或回歸，則存在確定非線性映射函數(shù)的形式和參數(shù)、特征空間維數(shù)等問題，而最大的障礙則是在高維特征空間運(yùn)算時(shí)存在的“維數(shù)災(zāi)難”。采用核函數(shù)技術(shù)可以有效地解決這樣問題。
設(shè)x,z∈X,X屬于R（n）空間,非線性函數(shù)Φ實(shí)現(xiàn)輸入間X到特征空間F的映射,其中F屬于R（m）,n<<m。根據(jù)核函數(shù)技術(shù)有：
K(x,z) =<Φ(x),Φ(z) > (1)
其中：<, >為內(nèi)積,K(x,z)為核函數(shù)。從式(1)可以看出，核函數(shù)將m維高維空間的內(nèi)積運(yùn)算轉(zhuǎn)化為n維低維輸入空間的核函數(shù)計(jì)算，從而巧妙地解決了在高維特征空間中計(jì)算的“維數(shù)災(zāi)難”等問題，從而為在高維特征空間解決復(fù)雜的分類或回歸問題奠定了理論基礎(chǔ)。
（3）核函數(shù)特點(diǎn)
核函數(shù)方法的廣泛應(yīng)用,與其特點(diǎn)是分不開的：
1）核函數(shù)的引入避免了“維數(shù)災(zāi)難”,大大減小了計(jì)算量。而輸入空間的維數(shù)n對核函數(shù)矩陣無影響，因此，核函數(shù)方法可以有效處理高維輸入。
2）無需知道非線性變換函數(shù)Φ的形式和參數(shù).
3）核函數(shù)的形式和參數(shù)的變化會(huì)隱式地改變從輸入空間到特征空間的映射，進(jìn)而對特征空間的性質(zhì)產(chǎn)生影響，最終改變各種核函數(shù)方法的性能。
4）核函數(shù)方法可以和不同的算法相結(jié)合，形成多種不同的基于核函數(shù)技術(shù)的方法，且這兩部分的設(shè)計(jì)可以單獨(dú)進(jìn)行，并可以為不同的應(yīng)用選擇不同的核函數(shù)和算法。
（4）常見核函數(shù)
核函數(shù)的確定并不困難,滿足Mercer定理的函數(shù)都可以作為核函數(shù)。常用的核函數(shù)可分為兩類，即內(nèi)積核函數(shù)和平移不變核函數(shù)，如：
1）高斯核函數(shù)K(x,xi) =exp(-||x-xi||2/2σ2；
2）多項(xiàng)式核函數(shù)K(x,xi)=(x·xi+1)^d, d=1,2,…,N；
3）感知器核函數(shù)K(x,xi) =tanh(βxi+b)；
4）樣條核函數(shù)K(x,xi) = B2n+1(x-xi)。
（5）核函數(shù)方法實(shí)施步驟
核函數(shù)方法是一種模塊化(Modularity)方法，它可分為核函數(shù)設(shè)計(jì)和算法設(shè)計(jì)兩個(gè)部分，具體為：
1）收集和整理樣本,并進(jìn)行標(biāo)準(zhǔn)化；
2）選擇或構(gòu)造核函數(shù)；
3）用核函數(shù)將樣本變換成為核函數(shù)矩陣,這一步相當(dāng)于將輸入數(shù)據(jù)通過非線性函數(shù)映射到高維
特征空間；
4）在特征空間對核函數(shù)矩陣實(shí)施各種線性算法；
5）得到輸入空間中的非線性模型。
顯然,將樣本數(shù)據(jù)核化成核函數(shù)矩陣是核函數(shù)方法中的關(guān)鍵。注意到核函數(shù)矩陣是l×l的對稱矩陣，其中l為樣本數(shù)。
（6）核函數(shù)在模式識(shí)別中的應(yīng)用
1）新方法。主要用在基于結(jié)構(gòu)風(fēng)險(xiǎn)最小化(Structural Risk Minimization,SRM)的SVM中。
2）傳統(tǒng)方法改造。如核主元分析(kernel PCA)、核主元回歸(kernel PCR)、核部分最小二乘法(kernel PLS)、核Fisher判別分析(Kernel Fisher Discriminator, KFD)、核獨(dú)立主元分析(Kernel Independent Component Analysis,KICA)等，這些方法在模式識(shí)別等不同領(lǐng)域的應(yīng)用中都表現(xiàn)了很好的性能。
