閑著無事，想寫點(diǎn)一些我所了解的machine learning大家。由于學(xué)識淺薄，見識有限，并且僅局限于某些領(lǐng)域，一些在NLP及最近很熱的生物信息領(lǐng)域活躍的學(xué)者我就淺陋無知，所以不對的地方大家僅當(dāng)一笑。
Machine Learning 大家(1)：M. I. Jordan
在我的眼里，MJordan無疑是武林中的泰山北斗。他師出MIT，現(xiàn)在在berkeley坐鎮(zhèn)一方，在附近的兩所名校（加stanford）中都可以說無出其右者，stanford的Daphne Koller雖然也聲名遐邇，但是和Jordan比還是有一段距離。
Jordan身兼stat和cs兩個系的教授，從他身上可以看出Stat和ML的融合。
Jordan 最先專注于mixtures ofexperts，并迅速奠定了自己的地位，我們哈爾濱工業(yè)大學(xué)的校友徐雷跟他做博后期間，也在這個方向上沾光不少。Jordan和他的弟子在很多方面作出了開創(chuàng)性的成果，如spectral clustering， Graphical model和nonparametricBayesian。現(xiàn)在后兩者在ML領(lǐng)域是非常炙手可熱的兩個方向，可以說很大程度上是Jordan的lab一手推動的。
更難能可貴的是，Jordan不僅自己武藝高強(qiáng)，并且攬錢有法，教育有方，手下門徒眾多且很多人成了大器，隱然成為江湖大幫派。他的弟子中有10多人任教授，個人認(rèn)為他現(xiàn)在的弟子中最出色的是stanford的Andrew Ng，不過由于資歷原因，現(xiàn)在還是assistantprofessor，不過成為大教授指日可待；另外Tommi Jaakkola和David Blei也非常厲害，其中TommiJaakkola在mit任教而David Blei在cmu做博后，數(shù)次獲得NIPS最佳論文獎，把SVM的最大間隔方法和Markovnetwork的structure結(jié)構(gòu)結(jié)合起來，赫赫有名。還有一個博后是來自于toronto的Yee WhyeTeh，非常不錯，有幸跟他打過幾次交道，人非常nice。另外還有一個博后居然在做生物信息方面的東西，看來jordan在這方面也撈了錢。這方面他有一個中國學(xué)生Eric P. Xing(清華大學(xué)校友)，現(xiàn)在在cmu做assistant professor。
總的說來，我覺得 Jordan現(xiàn)在做的主要還是graphical model和Bayesian learning，他去年寫了一本關(guān)于graphicalmodel的書，今年由mitpress出版，應(yīng)該是這個領(lǐng)域里程碑式的著作。3月份曾經(jīng)有人答應(yīng)給我一本打印本看看，因?yàn)镴ordan不讓他傳播電子版，但后來好像沒放在心上（可見美國人也不是很守信的），人不熟我也不好意思問著要，可以說是一大遺憾.另外發(fā)現(xiàn)一個有趣的現(xiàn)象就是Jordan對hierarchical情有獨(dú)鐘，相當(dāng)多的文章都是關(guān)于hierarchical的，所以能hierarchical大家趕快hierarchical，否則就讓他給搶了。
用我朋友話說看jordan牛不牛，看他主頁下面的Past students and postdocs就知道了。
Machine Learning大家（2）：D. Koller
D. Koller是1999年美國青年科學(xué)家總統(tǒng)獎(PECASE)得主，IJCAI 2001 Computers and ThoughtAward(IJCAI計(jì)算機(jī)與思維獎，這是國際人工智能界35歲以下青年學(xué)者的最高獎)得主，2004 World TechnologyAward得主。
最先知道Dkoller是因?yàn)樗昧艘粋€大獎，2001年IJCAI計(jì)算機(jī)與思維獎。Koller因她在概率推理的理論和實(shí)踐、機(jī)器學(xué)習(xí)、計(jì)算博弈論等領(lǐng)域的重要貢獻(xiàn)，成為繼Terry Winograd、David Marr、Tom Mitchell、RodneyBrooks等人之后的第18位獲獎?wù)?。說起這個獎挺有意思的，IJCAI終身成就獎（IJCAI Award for ResearchExcellence），是國際人工智能界的最高榮譽(yù);IJCAI計(jì)算機(jī)與思維獎是國際人工智能界35歲以下青年學(xué)者的最高榮譽(yù)。早期AI研究將推理置于至高無上的地位; 但是1991年牛人RodneyBrooks對推理全面否定，指出機(jī)器只能獨(dú)立學(xué)習(xí)而得到了IJCAI計(jì)算機(jī)與思維獎; 但是koller卻因提出了ProbabilisticRelational Models 而證明機(jī)器可以推理論知而又得到了這個獎，可見世事無絕對，科學(xué)有輪回。
Dkoller的Probabilistic RelationalModels在nips和icml等各種牛會上活躍了相當(dāng)長的一段時間，并且至少在實(shí)驗(yàn)室里證明了它在信息搜索上的價值，這也導(dǎo)致了她的很多學(xué)生進(jìn)入了google。雖然進(jìn)入google可能沒有在牛校當(dāng)faculty名聲響亮，但要知道google的很多員工現(xiàn)在可都是百萬富翁，在全美大肆買房買車的主。
Koller的研究主要都集中在probabilistic graphicalmodel，如Bayesian網(wǎng)絡(luò)，但這玩意我沒有接觸過，我只看過幾篇他們的markovnetwork的文章，但看了也就看了，一點(diǎn)想法都沒有，這灘水有點(diǎn)深，不是我這種非科班出身的能趟的，并且感覺難以應(yīng)用到我現(xiàn)在這個領(lǐng)域中。
Koller才從教10年，所以學(xué)生還沒有涌現(xiàn)出太多的牛人，這也是她不能跟Jordan比擬的地方，并且由于在stanford的關(guān)系，很多學(xué)生直接去硅谷賺大錢去了，而沒有在學(xué)術(shù)界開江湖大幫派的影響，但在stanford這可能太難以辦到，因?yàn)榻疱X的誘惑實(shí)在太大了。不過Koller的一個學(xué)生我非常崇拜，叫Ben Taskar，就是我在（1）中所提到的Jordan的博后，是好幾個牛會的最佳論文獎，他把SVM的最大間隔方法和Markovnetwork結(jié)合起來，可以說是對structuredata處理的一種標(biāo)準(zhǔn)工具，也把最大間隔方法帶入了一個新的熱潮，近幾年很多牛會都有這樣的workshop。 我最開始上BenTaskar的在stanford的個人網(wǎng)頁時，正趕上他剛畢業(yè)，他的頂上有這么一句話：流言變成了現(xiàn)實(shí)，我終于畢業(yè)了！可見Koller是很變態(tài)的，把自己的學(xué)生關(guān)得這么郁悶，這恐怕也是大多數(shù)女faculty的通病吧，并且估計(jì)還非常的push！
Machine learning 大家（3）:J. D. Lafferty
大家都知道NIPS和ICML向來都是由大大小小的山頭所割據(jù)，而JohnLafferty無疑是里面相當(dāng)高的一座高山，這一點(diǎn)可從他的publicationlist里的NIPS和ICML數(shù)目得到明證。雖然江湖傳說計(jì)算機(jī)重鎮(zhèn)CMU現(xiàn)在在走向衰落，但這無礙Lafferty擁有越來越大的影響力，翻開AI兵器譜排名第一的journal of machine learningresearch的很多文章，我們都能發(fā)現(xiàn)author或者editor中赫然有Lafferty的名字。
Lafferty給人留下的最大的印象似乎是他2001年的conditional randomfields，這篇文章后來被瘋狂引用，廣泛地應(yīng)用在語言和圖像處理，并隨之出現(xiàn)了很多的變體，如Kumar的discriminativerandom fields等。雖然大家都知道discriminativelearning好，但很久沒有找到好的discriminative方法去處理這些具有豐富的contextualinxxxxation的數(shù)據(jù)，直到Lafferty的出現(xiàn)。
而現(xiàn)在Lafferty做的東西好像很雜，semi－supervised learning， kernel learning，graphical models甚至manifoldlearning都有涉及，可能就是像武俠里一樣只要學(xué)會了九陽神功，那么其它的武功就可以一窺而知其精髓了。這里面我最喜歡的是semi－supervisedlearning，因?yàn)殡S著要處理的數(shù)據(jù)越來越多，進(jìn)行全部label過于困難，而完全unsupervised的方法又讓人不太放心，在這種情況下semi－supervisedlearning就成了最好的。這沒有一個比較清晰的認(rèn)識，不過這也給了江湖后輩成名的可乘之機(jī)。到現(xiàn)在為止，我覺得cmu的semi－supervised是做得最好的，以前是KAMAL NIGAM做了開創(chuàng)性的工作，而現(xiàn)在Lafferty和他的弟子作出了很多總結(jié)和創(chuàng)新。
Lafferty 的弟子好像不是很多，并且好像都不是很有名。不過今年畢業(yè)了一個中國人，XiaojinZhu(上海交通大學(xué)校友)，就是做semi－supervised的那個人，現(xiàn)在在wisconsin-madison做assistantprofessor。他做了迄今為止最全面的Semi-supervised learning literaturesurvey，大家可以從他的個人主頁中找到。這人看著很憨厚，估計(jì)是很好的陶瓷對象。另外我在（1）中所說的Jordan的牛弟子DBlei今年也投奔Lafferty做博后，就足見Lafferty的牛了。
Lafferty做NLP是很好的，著名的LinkGrammar Parser還有很多別的應(yīng)用。其中l(wèi)anguage model在IR中應(yīng)用，這方面他的另一個中國學(xué)生ChengXiangZhai(南京大學(xué)校友，2004年美國青年科學(xué)家總統(tǒng)獎(PECASE)得主)，現(xiàn)在在uiuc做assistant professor。
Machine learning 大家（4):Peter L. Bartlett
鄙人淺薄之見，Jordan比起同在berkeley的PeterBartlett還是要差一個層次。Bartlett主要的成就都是在learningtheory方面，也就是ML最本質(zhì)的東西。他的幾篇開創(chuàng)性理論分析的論文，當(dāng)然還有他的書Neural Network Learning:Theoretical Foundations。
UCBerkeley的統(tǒng)計(jì)系在強(qiáng)手如林的北美高校中一直是top3，這就足以證明其肯定是群星薈萃，而其中，Peter L.Bartlett是相當(dāng)亮的一顆星。關(guān)于他的研究，我想可以從他的一本書里得到答案：Neural Network Learning:Theoretical Foundations。也就是說，他主要做的是TheoreticalFoundations。基礎(chǔ)理論雖然沒有一些直接可面向應(yīng)用的算法那樣引人注目，但對科學(xué)的發(fā)展實(shí)際上起著更大的作用。試想vapnik要不是在VC維的理論上辛苦了這么多年，怎么可能有SVM的問世。不過陽春白雪固是高雅，但大多數(shù)人只能聽懂下里巴人，所以Bartlett的文章大多只能在做理論的那個圈子里產(chǎn)生影響，而不能為大多數(shù)人所廣泛引用。
Bartlett在最近兩年做了大量的Large marginclassifiers方面的工作，如其convergence rate和generalizationbound等。并且很多是與jordan合作，足見兩人的工作有很多相通之處。不過我發(fā)現(xiàn)Bartlett的大多數(shù)文章都是自己為第一作者，估計(jì)是在教育上存在問題吧，沒帶出特別牛的學(xué)生出來。
Bartlett的個人主頁的talk里有很多值得一看的slides,如LargeMargin Classifiers: Convexity and Classification；Large Margin Methodsfor Structured Classification: Exponentiated GradientAlgorithms。大家有興趣的話可以去下來看看。
Machine learning 大家（5): Michael Collins
Michael Collins (http://people.csail.mit.edu/mcollins/
自然語言處理(NLP)江湖的第一高人。出身Upenn，靠一身叫做CollinsParser的武功在江湖上展露頭腳。當(dāng)然除了資質(zhì)好之外，其出身也幫了不少忙。早年一個叫做Mitchell P.Marcus的師傅傳授了他一本葵花寶典-Penn Treebank。從此，Collins整日沉迷于此，終于練成蓋世神功。
學(xué)成之后，Collins告別師傅開始闖蕩江湖，投入了一個叫AT&T Labs Research的幫會，并有幸結(jié)識了RobertSchapire、Yoram Singer等眾多高手。大家不要小瞧這個叫AT&T LabsResearch的幫會，如果誰沒有聽過它的大名總該知道它的同父異母的兄弟Bell Labs吧。
言歸正傳，話說Collins在這里度過了3年快樂的時光。其間也奠定了其NLP江湖老大的地位。并且練就了Discriminative Reranking，Convolution Kernels，Discriminative Training Methods for Hidden MarkovModels等多種絕技。然而，世事難料，怎奈由于幫會經(jīng)營不善，這幫大牛又不會為幫會拼殺，終于被一腳踢開，大家如鳥獸散了。Schapire去了Princeton， Singer 也回老家以色列了。Collins來到了MIT，成為了武林第一大幫的六袋長老，并教授一門叫做的MachineLearning Approaches for NLP
(http://www.ai.mit.edu/courses/6.891-nlp/的功夫。雖然這一地位與其功力極不相符，但是這并沒有打消Collins的積極性，通過其刻苦打拼，終于得到了一個叫Sloan ResearchFellow的頭銜，并于今年7月，光榮的升任7袋Associate Professor。
在其下山短短7年時間內(nèi)，Collins共獲得了4次世界級武道大會冠軍(EMNLP2002, 2004, UAI2004, 2005)。相信年輕的他，總有一天會一統(tǒng)丐幫，甚至整個江湖。
看過Collins和別人合作的一篇文章，用conditional random fields 做object recogntion。還這么年輕，admire to death！
本站僅提供存儲服務(wù)，所有內(nèi)容均由用戶發(fā)布，如發(fā)現(xiàn)有害或侵權(quán)內(nèi)容，請
點(diǎn)擊舉報(bào)。
