在機(jī)器學(xué)習(xí)(Machine learning)領(lǐng)域,監(jiān)督學(xué)習(xí)(Supervised learning)、非監(jiān)督學(xué)習(xí)(Unsupervised learning)以及半監(jiān)督學(xué)習(xí)(Semi-supervised learning)是三類研究比較多,應(yīng)用比較廣的學(xué)習(xí)技術(shù),wiki上對(duì)這三種學(xué)習(xí)的簡(jiǎn)單描述如下:
下面用一個(gè)例子來具體解釋一下。
其實(shí)很多機(jī)器學(xué)習(xí)都是在解決類別歸屬的問題,即給定一些數(shù)據(jù),判斷每條數(shù)據(jù)屬于哪些類,或者和其他哪些數(shù)據(jù)屬于同一類等等。這樣,如果我們上來就對(duì)這一堆數(shù)據(jù)進(jìn)行某種劃分(聚類),通過數(shù)據(jù)內(nèi)在的一些屬性和聯(lián)系,將數(shù)據(jù)自動(dòng)整理為某幾類,這就屬于非監(jiān)督學(xué)習(xí)。如果我們一開始就知道了這些數(shù)據(jù)包含的類別,并且有一部分?jǐn)?shù)據(jù)(訓(xùn)練數(shù)據(jù))已經(jīng)標(biāo)上了類標(biāo),我們通過對(duì)這些已經(jīng)標(biāo)好類標(biāo)的數(shù)據(jù)進(jìn)行歸納總結(jié),得出一個(gè) “數(shù)據(jù)–>類別” 的映射函數(shù),來對(duì)剩余的數(shù)據(jù)進(jìn)行分類,這就屬于監(jiān)督學(xué)習(xí)。而半監(jiān)督學(xué)習(xí)指的是在訓(xùn)練數(shù)據(jù)十分稀少的情況下,通過利用一些沒有類標(biāo)的數(shù)據(jù),提高學(xué)習(xí)準(zhǔn)確率的方法。
鋪墊了那么多,其實(shí)我想說的是,在wiki上對(duì)于半監(jiān)督學(xué)習(xí)的解釋是有一點(diǎn)點(diǎn)歧義的,這跟下面要介紹的主動(dòng)學(xué)習(xí)有關(guān)。
主動(dòng)學(xué)習(xí)(active learning),指的是這樣一種學(xué)習(xí)方法:
有的時(shí)候,有類標(biāo)的數(shù)據(jù)比較稀少而沒有類標(biāo)的數(shù)據(jù)是相當(dāng)豐富的,但是對(duì)數(shù)據(jù)進(jìn)行人工標(biāo)注又非常昂貴,這時(shí)候,學(xué)習(xí)算法可以主動(dòng)地提出一些標(biāo)注請(qǐng)求,將一些經(jīng)過篩選的數(shù)據(jù)提交給專家進(jìn)行標(biāo)注。
這個(gè)篩選過程也就是主動(dòng)學(xué)習(xí)主要研究的地方了,怎么樣篩選數(shù)據(jù)才能使得請(qǐng)求標(biāo)注的次數(shù)盡量少而最終的結(jié)果又盡量好。
主動(dòng)學(xué)習(xí)的過程大致是這樣的,有一個(gè)已經(jīng)標(biāo)好類標(biāo)的數(shù)據(jù)集K(初始時(shí)可能為空),和還沒有標(biāo)記的數(shù)據(jù)集U,通過K集合的信息,找出一個(gè)U的子集C,提出標(biāo)注請(qǐng)求,待專家將數(shù)據(jù)集C標(biāo)注完成后加入到K集合中,進(jìn)行下一次迭代。
按wiki上所描述的看,主動(dòng)學(xué)習(xí)也屬于半監(jiān)督學(xué)習(xí)的范疇了,但實(shí)際上是不一樣的,半監(jiān)督學(xué)習(xí)和直推學(xué)習(xí)(transductive learning)以及主動(dòng)學(xué)習(xí),都屬于利用未標(biāo)記數(shù)據(jù)的學(xué)習(xí)技術(shù),但基本思想還是有區(qū)別的。
如上所述,主動(dòng)學(xué)習(xí)的“主動(dòng)”,指的是主動(dòng)提出標(biāo)注請(qǐng)求,也就是說,還是需要一個(gè)外在的能夠?qū)ζ湔?qǐng)求進(jìn)行標(biāo)注的實(shí)體(通常就是相關(guān)領(lǐng)域人員),即主動(dòng)學(xué)習(xí)是交互進(jìn)行的。
而半監(jiān)督學(xué)習(xí),特指的是學(xué)習(xí)算法不需要人工的干預(yù),基于自身對(duì)未標(biāo)記數(shù)據(jù)加以利用。
至于直推學(xué)習(xí),它與半監(jiān)督學(xué)習(xí)一樣不需要人工干預(yù),不同的是,直推學(xué)習(xí)假設(shè)未標(biāo)記的數(shù)據(jù)就是最終要用來測(cè)試的數(shù)據(jù),學(xué)習(xí)的目的就是在這些數(shù)據(jù)上取得最佳泛化能力。相對(duì)應(yīng)的,半監(jiān)督學(xué)習(xí)在學(xué)習(xí)時(shí)并不知道最終的測(cè)試用例是什么。
也就是說,直推學(xué)習(xí)其實(shí)類似于半監(jiān)督學(xué)習(xí)的一個(gè)子問題,或者說是一個(gè)特殊化的半監(jiān)督學(xué)習(xí),所以也有人將其歸為半監(jiān)督學(xué)習(xí)。
而主動(dòng)學(xué)習(xí)和半監(jiān)督學(xué)習(xí),其基本思想上就不一樣了,所以還是要加以區(qū)分的,如果wiki上對(duì)半監(jiān)督學(xué)習(xí)的解釋能特別強(qiáng)調(diào)一下“是在不需要人工干預(yù)的條件下由算法自行完成對(duì)無標(biāo)記數(shù)據(jù)的利用”,問題就會(huì)更清楚一些了。
聯(lián)系客服