來源：大數(shù)據(jù)
來自：網(wǎng)易智能（ID：smartman163）
導(dǎo)讀：2019年3月27日，ACM（國際計(jì)算機(jī)學(xué)會(huì)）宣布，三位“深度學(xué)習(xí)之父”約書亞·本吉奧(Yoshua Bengio)、杰弗里·辛頓(Geoffrey Hinton)和楊樂昆(Yann LeCun) 共同獲得了2018年圖靈獎(jiǎng)。
本文帶你詳細(xì)了解“三巨頭”的傳奇經(jīng)歷。
這是圖靈獎(jiǎng)自1966年設(shè)立以來，第三次將年度圖靈獎(jiǎng)同時(shí)辦法給三位獲獎(jiǎng)?wù)摺８鶕?jù)ACM官網(wǎng)信息，此次圖靈獎(jiǎng)是為了表彰三位大師給人工智能帶來的重大突破，這些突破使深度神經(jīng)網(wǎng)絡(luò)成為計(jì)算的關(guān)鍵組成部分。
Bengio、Hinton和LeCun三人既有各自獨(dú)立的研究，又有相互間的合作，他們?yōu)槿斯ぶ悄茴I(lǐng)域發(fā)展了概念基礎(chǔ)，通過實(shí)驗(yàn)發(fā)現(xiàn)了許多驚人的成果，并為證明深度神經(jīng)網(wǎng)絡(luò)的實(shí)際優(yōu)勢做出了貢獻(xiàn)。近年來，深度學(xué)習(xí)方法在計(jì)算機(jī)視覺、語音識(shí)別、自然語言處理和機(jī)器人等應(yīng)用領(lǐng)域取得了驚人的突破。
雖然人工神經(jīng)網(wǎng)絡(luò)作為一種幫助計(jì)算機(jī)識(shí)別模式和模擬人類智能的工具在20世紀(jì)80年代被引入，但直到21世紀(jì)初，只有LeCun、Hinton和Bengio等一小群人仍然堅(jiān)持使用這種方法。盡管他們的努力也曾遭到懷疑，但他們的想法最終點(diǎn)燃了人工智能社區(qū)對(duì)神經(jīng)網(wǎng)絡(luò)的興趣，帶來了一些最新的重大技術(shù)進(jìn)步。他們的方法現(xiàn)在是該領(lǐng)域的主導(dǎo)范式。
這是ACM授予他們圖靈獎(jiǎng)的重要原因。
ACM同時(shí)宣布，將于2019年6月15日在舊金山舉行年度頒獎(jiǎng)晚宴，屆時(shí)正式給獲獎(jiǎng)?wù)哳C獎(jiǎng)，獎(jiǎng)金100萬美元，由谷歌提供財(cái)政支持。
由于圖靈獎(jiǎng)對(duì)獲獎(jiǎng)條件要求極高，評(píng)獎(jiǎng)程序又是極嚴(yán)，一般每年只獎(jiǎng)勵(lì)一名計(jì)算機(jī)科學(xué)家，只有極少數(shù)年度有兩名合作者或在同一方向作出貢獻(xiàn)的科學(xué)家共享此獎(jiǎng)。因此它是計(jì)算機(jī)界最負(fù)盛名、最崇高的一個(gè)獎(jiǎng)項(xiàng)，有“計(jì)算機(jī)界的諾貝爾獎(jiǎng)”之稱 。
Hinton是谷歌副總裁兼工程研究員、Vector研究所首席科學(xué)顧問、多倫多大學(xué)名譽(yù)教授。LeCun是紐約大學(xué)教授、Facebook副總裁兼人工智能首席科學(xué)家。Bengio是蒙特利爾大學(xué)教授，也是魁北克人工智能研究所Mila的科學(xué)主任。
下面，我們一起來看看“深度學(xué)習(xí)三巨頭”的傳奇人生。
01 Hinton：從"棄兒"到大神
Hinton于1947年出生在英國溫布爾頓，他的父親Howard Hinton是一名昆蟲學(xué)家，母親Margaret Clark是一名教師。
Hinton所描述的自己的童年時(shí)期，就好像拿著顯微鏡的丹尼爾·韓德勒（Lemony Snicket，美國作家及編?。?、哈克貝利·費(fèi)恩和美國喜劇電影《天才一族》（The Royal Tenenbaums）的綜合體。
Hinton出生于科學(xué)家世家，在Hinton成長的過程中，他的母親給了他兩種選擇：“要么成為一名學(xué)者，要么就做個(gè)失敗者?！盚inton家族的家譜上，科學(xué)家占了很大的比例。他的高祖父是布爾邏輯創(chuàng)始人喬治·布爾（George Boole），任何用過“布爾檢索”的人都很熟悉他。
喬治布爾的女婿之一Charles Howard Hinton是Hinton的曾祖父，是一位數(shù)學(xué)家和科幻作家，他創(chuàng)造了“超立方體（tesseract）”的概念。Hinton的中間名是Everest，這個(gè)名字來源于他高祖母的叔叔、地理學(xué)家Everest，珠穆朗瑪峰就是以他的名字命名的。
Hinton的母親非常和藹，但他的父親卻有些令人生畏，不僅表現(xiàn)在身體上（他可以單手做引體向上），還是在智力上?！八矚g那些思路清晰的人，如果你說了一些廢話，他就會(huì)稱其為垃圾。他不是那種很多愁善感的人。我不是說他會(huì)虐待人，但他的脾氣非常強(qiáng)硬?！?/p>
Hinton中學(xué)就讀于一所名為克利夫頓學(xué)院的私立學(xué)校，“并不是什么頂尖學(xué)校，”他說，他和他的朋友Inman Harvey曾經(jīng)在周圍的村子搭車四處玩耍，Inman Harvey現(xiàn)在是計(jì)算機(jī)科學(xué)家、蘇塞克斯大學(xué)的人工智能訪問研究員。
1972年，Hinton開始在愛丁堡大學(xué)攻讀博士學(xué)位，研究方向是神經(jīng)網(wǎng)絡(luò)。每周，他的導(dǎo)師都會(huì)對(duì)他說，你是在浪費(fèi)時(shí)間，但Hinton還是堅(jiān)持繼續(xù)研究。
博士畢業(yè)后，Hinton在匹茲堡的卡耐基梅隆大學(xué)找到一份工作。但是，Hinton是一個(gè)社會(huì)主義者，當(dāng)時(shí)被里根政府的外交政策深深困擾。
他的妻子Ros是一名分子生物學(xué)家，也是倫敦大學(xué)學(xué)院的前教授。他們計(jì)劃收養(yǎng)來自南美洲的一個(gè)男孩和一個(gè)女孩，但不想讓孩子在卷入血腥的拉美沖突的國家里長大。另外，美國的大部分人工智能研究都是由美國國防部資助的，Hinton對(duì)此也不滿意。
1987年，Hinton接受了加拿大高級(jí)研究所（CIFAR）的邀請(qǐng)，他和妻子Ros搬到多倫多的Annex。盡管從未學(xué)過計(jì)算機(jī)課程，但Hinton還是在多倫多大學(xué)計(jì)算機(jī)科學(xué)學(xué)院接受了一個(gè)職位，并在CIFAR展開了機(jī)器和大腦學(xué)習(xí)項(xiàng)目的研究。他在多倫多大學(xué)圣喬治校區(qū)的桑福德·弗萊明大樓里有了一間小辦公室，開始安靜地工作。
漸漸地，一些相信深度學(xué)習(xí)的人都加入了他的團(tuán)隊(duì)。其中就包括Ilya Sutskever，他現(xiàn)在是OpenAI的聯(lián)合創(chuàng)始人兼董事。Sutskever還記得2000年前后在Hinton的實(shí)驗(yàn)室工作的時(shí)光。
他說，當(dāng)時(shí)還是“人工智能冬季”，有10個(gè)左右的學(xué)生在Hinton的實(shí)驗(yàn)室做研究，那時(shí)人工智能研究領(lǐng)域的工作和資金都很匱乏，而且來自行業(yè)的資助也越來越少?！拔覀兪蔷滞馊耍覀冇X得我們有一種罕見的洞察力，覺得我們與眾不同?！盨utskever說。
當(dāng)他面對(duì)學(xué)術(shù)上的冷漠而埋頭苦干時(shí)，Hinton在90年代遭遇了另一個(gè)打擊——他成為了一個(gè)單身父親。在他和他的第一任妻子Ros收養(yǎng)了他們的孩子后不久，Ros就患卵巢癌去世了。
Hinton曾經(jīng)習(xí)慣于沉浸在自己的思想中和實(shí)驗(yàn)室里，但他一下又回到了要撫養(yǎng)兩個(gè)孩子的現(xiàn)實(shí)世界。他的兒子患有注意力缺陷多動(dòng)癥（ADHD）和其他學(xué)習(xí)障礙，即使有保姆，Hinton也必須在下午6點(diǎn)回到家，陪伴自己的兒子，然后沖到Gap買促銷的襪子。
“我無法想象一個(gè)有孩子的女人如何能有一個(gè)學(xué)術(shù)生涯。我已經(jīng)習(xí)慣了把時(shí)間花在思考上?！?/p>
“教育很有趣，但也有一點(diǎn)分心，而余下的生活——我沒有時(shí)間去過，”Hinton說?！暗辛诵『⒆又?，這根本就不行。”盡管如此，工作還是為他提供了一個(gè)避風(fēng)港。Hinton說：“我有時(shí)會(huì)覺得，我在用數(shù)字和數(shù)學(xué)來作為我的情感上的防御?！?/p>
養(yǎng)育子女使他的想法發(fā)生了改變?！耙郧拔胰コ械臅r(shí)候，收銀員連兩個(gè)數(shù)字的加法都不活做，我想：“看在上帝的份上，為什么他們不能雇一個(gè)能做算術(shù)的收銀員呢？”現(xiàn)在我會(huì)想：“超市能雇傭這個(gè)人，真是太好心了。”他補(bǔ)充道：“我沒有想成為一個(gè)更好的人，這只是碰巧發(fā)生了。這其實(shí)并不是我的目標(biāo)。”
1997年，Hinton再婚，妻子是英國藝術(shù)史學(xué)家Jackie。幾年前，她被診斷出患有胰腺癌。Hinton在醫(yī)院里度過了許多時(shí)光。他提出的問題經(jīng)常惹惱醫(yī)院的工作人員。他知道病人在等待結(jié)果時(shí)收到模糊信息的挫敗感。但與大多數(shù)人不同的是，他知道，很快就會(huì)有一種技術(shù)，可以在把需要等待一周的測試結(jié)果縮短到一天。
醫(yī)務(wù)人員曾三次根據(jù)CT掃描結(jié)果告訴他的妻子，她有繼發(fā)性腫瘤，但每次都是誤診。Hinton相信人工智能最終會(huì)讓放射科醫(yī)師失業(yè)——或者至少取代閱讀圖像的工作。識(shí)別是人工智能的核心，也是成功診斷和治療的核心?！白罱K，人工智能工程師將會(huì)知道如何訓(xùn)練你的免疫系統(tǒng)來攻擊癌細(xì)胞。”Hinton說。
2009年左右，當(dāng)計(jì)算機(jī)終于有能力挖掘海量數(shù)據(jù)時(shí)，超級(jí)神經(jīng)網(wǎng)絡(luò)開始在語音和圖像識(shí)別方面超越基于邏輯的人工智能。業(yè)界很快注意到了正在發(fā)生的變化，大型科技公司包括微軟、Facebook、谷歌等都開始在這一領(lǐng)域投資。
2012年，谷歌公司的絕密實(shí)驗(yàn)室Google X（現(xiàn)在名為X），宣布建立一個(gè)由16000個(gè)電腦處理器組成的神經(jīng)網(wǎng)絡(luò)，并將其用在YouTube上。
該公司的深度學(xué)習(xí)人工智能部門Google Brain的工程師們，由該部門的高級(jí)研究員Jeff Dean領(lǐng)導(dǎo)，從YouTube上提取了數(shù)百萬個(gè)隨機(jī)的、沒有標(biāo)簽的視頻，輸入到這臺(tái)新的超級(jí)計(jì)算機(jī)中，并通過編程使其能夠理解所看到的內(nèi)容。
YouTube上有很多關(guān)于貓的視頻，神經(jīng)網(wǎng)絡(luò)成功地從其他各種東西中認(rèn)出了貓。這是人工智能領(lǐng)域一個(gè)激動(dòng)人心的時(shí)刻。“我們?cè)谟?xùn)練中從來沒有說過，'這是一只貓’，”Jeff Dean當(dāng)時(shí)說，“它基本上是自己發(fā)明了貓的概念?！?/p>
這一突破性的進(jìn)展使得Hinton和他的助手們成為了人工智能浪潮中的領(lǐng)導(dǎo)者。2013年，Jeff Dean把Hinton招進(jìn)了谷歌。Sutskever說：“我們本來就不在體制內(nèi)，努力證明傳統(tǒng)觀點(diǎn)是錯(cuò)誤的。有趣的是，現(xiàn)在我們已經(jīng)成為了體制的建立者?！?/p>
Hinton的觀點(diǎn)曾被業(yè)界拋棄，而突然間他卻成了行業(yè)里最重要的人物，從棄兒變成了明星。
Hinton在多倫多大學(xué)的辦公室能俯瞰到學(xué)校中心的干道。他一邊走動(dòng)，一邊吃著三明治，一邊在白板上畫畫，講述神經(jīng)網(wǎng)絡(luò)的巨大知識(shí)。
他說，如果必須把狗和貓定義成兩個(gè)不同的性別，他停下來畫了一只貓（形狀像雪人，有兩個(gè)小耳朵），從我們的文化來看，可能會(huì)把狗看成是雄性的，而貓是雌性的。
在這個(gè)定義中沒有邏輯可言（還很性別歧視），但是，Hinton說，我們的聯(lián)想和類比告訴我們，狗是好斗的、毛茸茸的、粗笨的；貓是狡猾的、聰明的、溫順的。前者有雄性的特征，后者有雌性的特征。這背后的原因不能用邏輯來證明，但它確實(shí)存在于我們的大腦中。
關(guān)于機(jī)器可以憑直覺感知這些相同表象的想法有一種詩歌般的吸引力：知識(shí)來源于生活中積累的意義和經(jīng)驗(yàn)，是一種存在的神秘物質(zhì)。這就是神經(jīng)網(wǎng)絡(luò)的美妙之處。
“這更接近于弗洛伊德的理論，意識(shí)的薄層、謹(jǐn)慎的推理以及其下所有沸騰的東西。下面這些沸騰的東西并不是有意識(shí)的推理，而是別的東西，起類比作用的東西?！盚inton說。
他不斷地重申著這一基本理念。去年秋天的Google Go North大會(huì)上，加拿大總理賈斯汀·特魯多（Justin Trudeau），創(chuàng)新部長Navdeep Bains，以及谷歌母公司Alphabet的執(zhí)行董事長埃里克·施密特（Eric Schmidt）等人像熱切的學(xué)生一樣坐在桌前，而Hinton一直站著，俯瞰著這些知名人士。
Hinton從來不坐著，因?yàn)樗募棺瞪嫌幸粋€(gè)突出物。第一次出現(xiàn)問題是他在19歲時(shí)幫母親搬一個(gè)很重的加熱器的時(shí)候，并且他在代謝預(yù)防骨質(zhì)疏松癥的鈣方面也有遺傳缺陷。隨著時(shí)間的推移，問題變得越來越嚴(yán)重。
最終，坐著變成了一件很痛苦的事情，所以，他從2005年開始就不再坐著了。當(dāng)然，這并不是一個(gè)理想的解決方案。尤其是Hinton每年需要在全球無數(shù)次會(huì)議上出席或發(fā)言。不過，Hinton有辦法從多倫多到赫爾辛基，而一直不坐下，而這一共需要11天。
“先躺在一輛公交車的后座上到布法羅。然后在法布羅換乘一輛芝加哥到紐約的臥鋪車，接著搭乘瑪麗女王號(hào)郵輪到南安普敦。然后站到倫敦，再乘歐洲之星站著到巴黎。在巴黎坐臥鋪到柏林。然后搭乘一輛舊的火車到羅斯托克，它坐落于海岸線上，以前屬于東德。然后你就可以乘渡船到達(dá)赫爾辛基?！?/p>
這就是Hinton平常的說話方式：把數(shù)據(jù)切分成易于理解的一個(gè)個(gè)部分，他的目光聚焦在遠(yuǎn)處，嘴角掛著微笑。
在Go North會(huì)議上，Hinton對(duì)他和兩名谷歌工程師的最新突破“膠囊神經(jīng)網(wǎng)絡(luò)（capsule networks）”做出了簡潔而清晰的解釋。神經(jīng)網(wǎng)絡(luò)依賴于海量的數(shù)據(jù)來學(xué)習(xí)，需要很長時(shí)間才認(rèn)識(shí)到從不同角度觀察的對(duì)象是同一個(gè)物體。膠囊是一種人造神經(jīng)元組成的層，能夠跟蹤物體的各個(gè)部分之間的關(guān)系，使識(shí)別更快更準(zhǔn)確。
比如說，從一個(gè)人的鼻子到嘴巴之間的小空間。在科技界，膠囊網(wǎng)絡(luò)受到了人們的熱烈歡迎。紐約大學(xué)一位從事圖像識(shí)別工作的教授對(duì)連線雜志說：“每個(gè)人都在等待著它，并期待著Hinton的下一個(gè)大的飛躍?！?/p>
在Hinton的努力下，每一家大型科技公司的人工智能專家都在爭先恐后地在深度學(xué)習(xí)中做出下一個(gè)變革性發(fā)現(xiàn)。數(shù)十名Hinton過去的學(xué)生在Facebook、谷歌、蘋果和優(yōu)步以及學(xué)術(shù)界都聲名鵲起，他們?cè)趯W(xué)術(shù)界傳播了神經(jīng)網(wǎng)絡(luò)的知識(shí)，形成了他們自己的生活方式。
作為另一位圖靈獎(jiǎng)獲得者，Bengio與Hinton有著良好的關(guān)系。幾十年來，當(dāng)Bengio在多倫多有工作要做的時(shí)候，他就住在Hinton在Annex的房子里，和他一起散步。他看著Hinton一路達(dá)到今天的科技名人地位，但同時(shí)也有些擔(dān)心。
“他不是上帝，他也是會(huì)犯錯(cuò)的。他只是一個(gè)普通人，做著普通人會(huì)做的事情?！盚inton說，“有時(shí)他可以透過黑暗看清事物，但他的個(gè)人生活對(duì)他來說并不容易，他也有他的黑暗時(shí)代。”
矢量研究所是多倫多大學(xué)解決人工智能人才流失的方案，矢量研究所擁有超過1億美元的地方和中央資金支持，還有來自30多個(gè)私人合作伙伴的8000萬美元，Hinton帶領(lǐng)著這個(gè)研究所正在為解決世界上一些重大的問題尋求技術(shù)答案。
02 LeCun：高舉著火炬，沖過了最黑暗的時(shí)代
LeCun出生在法國，從很小的時(shí)候他就相信能讓電腦擁有視覺。面部識(shí)別和圖像檢測如今已經(jīng)很常見，但是當(dāng)LeCun 20世紀(jì)80年代早期在巴黎上大學(xué)時(shí)，計(jì)算機(jī)實(shí)際上是個(gè)“盲人”，它們無法理解圖像中的任何東西，也無法弄清楚相機(jī)鏡頭里出現(xiàn)了什么。
從上世紀(jì)60年代起，LeCun就在大學(xué)里尋找一種方法，這種方法在很大程度上還未被探索過，但他認(rèn)為這種方法有可能“讓機(jī)器學(xué)習(xí)許多任務(wù)，包括感知?！边@種方法被稱為人工神經(jīng)網(wǎng)絡(luò)，它是由相互連接的小型傳感器組成的系統(tǒng)，并可以將內(nèi)容分解成微小的部分，然后進(jìn)入識(shí)別模式，并根據(jù)它們的共同輸入來決定它們所看到的內(nèi)容。
在閱讀了反對(duì)神經(jīng)網(wǎng)絡(luò)的論點(diǎn)，也就是它們很難訓(xùn)練，而且不是特別強(qiáng)大后，LeCun決定不管怎樣都要繼續(xù)前進(jìn)。他在攻讀博士學(xué)位的時(shí)候，盡管存在疑慮，但依然軍心專注于此。對(duì)于當(dāng)時(shí)受到的批評(píng)，LeCun說：“我就是不相信它們?！?/p>
人工智能領(lǐng)域的艱難時(shí)期有自己特殊的名字：人工智能寒冬。這些時(shí)期主要是因?yàn)檠芯咳藛T的研究成果不符合他們的預(yù)期，使得研究成果似乎顯得不夠科學(xué)，導(dǎo)致資金和興趣枯竭，阻礙技術(shù)持續(xù)進(jìn)步。
20世紀(jì)80年代在Hinton實(shí)驗(yàn)室工作，他曾提出“人工神經(jīng)網(wǎng)絡(luò)”，但后來該理論一度被認(rèn)為過時(shí)，他本人甚至被拒絕參加學(xué)術(shù)會(huì)議。但LeCun一直堅(jiān)持，他的導(dǎo)師Hinton曾評(píng)價(jià)說：“LeCun高舉著火炬，沖過了最黑暗的時(shí)代?！?/p>
上世紀(jì)90年代中期，在貝爾實(shí)驗(yàn)室的一項(xiàng)人工智能研究工作結(jié)束后，AT&T的內(nèi)部紛爭讓他的團(tuán)隊(duì)分崩離析，當(dāng)時(shí)他們正在推出自動(dòng)讀取ATM機(jī)，即如今仍在使用的神經(jīng)網(wǎng)絡(luò)技術(shù)，就像LeCun認(rèn)為它正在取得明顯進(jìn)展一樣。LeCun說：“整個(gè)項(xiàng)目在取得真正成功的那天就被解散了，這真的很令人沮喪。”
與此同時(shí)，其他方法獲得主流研究人員的青睞。這些方法后來不再受歡迎，但它們的崛起足以讓神經(jīng)網(wǎng)絡(luò)以及其長期以來的支持者LeCun被擠入邊緣。21世紀(jì)初，其他學(xué)者甚至不允許LeCun在他們的會(huì)議上發(fā)表論文。
2003年，LeCun為自己獲得救贖奠定了基礎(chǔ)。那一年，他加入了紐約大學(xué)的教師隊(duì)伍，并與Hinton和Bengio一起，以非正式聯(lián)盟的形式重新恢復(fù)了神經(jīng)網(wǎng)絡(luò)。LeCun微笑著說：“我們開始了我所謂的深度學(xué)習(xí)陰謀?！?/p>
最終，這個(gè)結(jié)果成為了一種敏捷、快速、準(zhǔn)確的方法，為該領(lǐng)域開辟了新的可能性。在LeCun和同行們建立的基礎(chǔ)之上，計(jì)算機(jī)視覺在21世紀(jì)初出現(xiàn)了爆炸式增長。計(jì)算機(jī)開始能夠識(shí)別圖像中的物體，然后識(shí)別視頻中的物體，最后甚至可以識(shí)別攝像頭中的目標(biāo)。
LeCun很快從“場外人”成為這個(gè)領(lǐng)域的領(lǐng)袖。他說：“在1年時(shí)間內(nèi)，它從無人問津變成人人都在研究的東西，“這簡直太瘋狂了！”
LeCun在2013年加盟Facebook并組建FAIR，從此以后，深度學(xué)習(xí)才慢慢熱起來。但是，LeCun仍像研究員一樣工作，他不僅保留了紐約大學(xué)的教職，而且FAIR的整體研究也更偏學(xué)術(shù)化。
LeCun在業(yè)界以直言不諱聞名，經(jīng)常批評(píng)那些認(rèn)為“AI技術(shù)令人恐懼”的不合理聲音。有一次，LeCun在采訪中嚴(yán)肅說到，過去在媒體上看到的關(guān)于人工智能的文章，其中的配圖很多都是關(guān)于《終結(jié)者》的。LeCun認(rèn)為這些報(bào)道很荒謬，最后不得不以嚴(yán)肅的態(tài)度回應(yīng)。
LeCun表示，人工智能還有很長很長的路要走，才能接近嬰兒的智力，甚至是動(dòng)物的智力。
03 Bengio：追求AI的新發(fā)現(xiàn)
Yoshua Bengio出生在巴黎，在蒙特利爾長大。1991年，Bengio獲得了加拿大麥吉爾大學(xué)計(jì)算機(jī)科學(xué)博士學(xué)位。他很喜歡科幻小說，如Philip K. Dick的《Do Androids Dream of Electric Sheep》中，由一家大型企業(yè)創(chuàng)造的有感知力的機(jī)器人最終變成了惡棍。
大學(xué)期間，Bengio主修計(jì)算機(jī)工程，他在麥吉爾大學(xué)讀研究生時(shí)讀到了Hinton的一篇論文，如被電擊，因?yàn)樗业搅藘簳r(shí)非常喜歡的科幻故事的感覺?！疤靺龋∵@是我想做的事！”他回憶道。
“多年來，在機(jī)器學(xué)習(xí)會(huì)議上，神經(jīng)網(wǎng)絡(luò)都不受歡迎，而Bengio堅(jiān)持與他的神經(jīng)網(wǎng)絡(luò)為伍，”科羅拉多大學(xué)教授Mozer回憶說，“我當(dāng)時(shí)覺得，可憐的Bengio，他太落伍了。 ”
他在麻省理工學(xué)院計(jì)算機(jī)科學(xué)與運(yùn)籌學(xué)部擔(dān)任教授兩年之后，在麻省理工學(xué)院貝爾實(shí)驗(yàn)室擔(dān)任麻省理工學(xué)院計(jì)算機(jī)科學(xué)系的教授。他著有兩本書和200多本出版物，被引用最多的是深度學(xué)習(xí)、周期性神經(jīng)網(wǎng)絡(luò)、概率學(xué)習(xí)算法、自然語言處理和多種學(xué)習(xí)。
雖然Hinton和LeCun分別加入了谷歌和Facebook，但Bengio仍然是蒙特利爾大學(xué)的全職教授。他在2016年成立了Element AI，并創(chuàng)立了一個(gè)非常成功的項(xiàng)目，幫助大公司探索人工智能研究的商業(yè)應(yīng)用。
在20世紀(jì)后期，研究人員開始明白為什么深度學(xué)習(xí)效果不佳。訓(xùn)練高水平的神經(jīng)網(wǎng)絡(luò)需要更強(qiáng)的計(jì)算能力。此外，神經(jīng)網(wǎng)絡(luò)需要良好的數(shù)據(jù)，在消費(fèi)互聯(lián)網(wǎng)崛起之前，還沒有足夠的數(shù)據(jù)能用來學(xué)習(xí)。
到了本世紀(jì)初，這些變了，大型科技公司開始應(yīng)用Bengio和他同事們的技術(shù)來實(shí)現(xiàn)商業(yè)里程碑：語言翻譯、語音識(shí)別、面部識(shí)別。
當(dāng)時(shí)，Bengio的哥哥Samy也是AI研究員，他在谷歌工作。Bengio很想跟隨他的兄弟和同事前往硅谷，但在2016年10月，他、Gagné、Chapados和Real Ventures推出了自己的創(chuàng)業(yè)公司Element AI。
Bengio認(rèn)為，科學(xué)家的工作是繼續(xù)追求AI的新發(fā)現(xiàn)。他說，政府應(yīng)該更積極地監(jiān)管規(guī)范這一領(lǐng)域，同時(shí)更公平地分配財(cái)富，投資于教育和社會(huì)安全網(wǎng)絡(luò)，以減輕人工智能不可避免的負(fù)面影響。
04 三位深度學(xué)習(xí)之父功績
1. Hinton
反向傳播算法
在1986年的一篇論文“Learning Internal Representations by Error Propagation”中，Hinton與David Rumelhart和Ronald Williams證明了反向傳播算法可以幫助神經(jīng)網(wǎng)絡(luò)發(fā)現(xiàn)數(shù)據(jù)的內(nèi)部表示，使得神經(jīng)網(wǎng)絡(luò)可以用來解決從前無法解決的問題，反向傳播算法是目前大多數(shù)神經(jīng)網(wǎng)絡(luò)的標(biāo)準(zhǔn)算法。
玻爾茲曼機(jī)（Boltzmann Machines）
1983年，Hinton與泰倫斯·謝諾沃斯基(Terrence Sejnowski)一起發(fā)明了玻爾茲曼機(jī)，這是第一個(gè)能夠?qū)W習(xí)不屬于輸入或輸出的神經(jīng)元內(nèi)部表征的神經(jīng)網(wǎng)絡(luò)。
卷積神經(jīng)網(wǎng)絡(luò)的改進(jìn)
2012年，Hinton和他的學(xué)生Alex Krizhevsky、Ilya Sutskever一起，利用分段線性神經(jīng)元（rectified linear neurons）和dropout正則化改進(jìn)了卷積神經(jīng)網(wǎng)絡(luò)。在著名的ImageNet比賽中，Hinton和他的學(xué)生們使物體識(shí)別的錯(cuò)誤率幾乎減半，從而重塑了計(jì)算機(jī)視覺領(lǐng)域。
2. LeCun
卷積神經(jīng)網(wǎng)絡(luò)
在20世紀(jì)80年代，LeCun開發(fā)了卷積神經(jīng)網(wǎng)絡(luò)，這是該領(lǐng)域的一個(gè)基本原理。能夠提高深度學(xué)習(xí)的效率是它的眾多優(yōu)勢之一。上世紀(jì)80年代末，LeCun還在多倫多大學(xué)和貝爾實(shí)驗(yàn)室工作時(shí)，他是第一個(gè)訓(xùn)練卷積神經(jīng)網(wǎng)絡(luò)系統(tǒng)處理手寫數(shù)字圖像的人。
如今，卷積神經(jīng)網(wǎng)絡(luò)已經(jīng)成為計(jì)算機(jī)視覺、語音識(shí)別、語音合成、圖像合成和自然語言處理領(lǐng)域的行業(yè)標(biāo)準(zhǔn)。它被廣泛應(yīng)用于各種應(yīng)用中，包括自動(dòng)駕駛、醫(yī)學(xué)圖像分析、聲控助手和信息過濾。
改進(jìn)反向傳播算法
LeCun提出了早期版本的反向傳播算法(backprop)，并基于變分原理對(duì)其進(jìn)行了清晰的推導(dǎo)，他的工作加速了反向傳播算法，包括兩種加速學(xué)習(xí)時(shí)間的簡單方法。
拓寬神經(jīng)網(wǎng)絡(luò)
LeCun還為神經(jīng)網(wǎng)絡(luò)開拓了廣闊的空間，將其作為處理廣泛任務(wù)的一種計(jì)算模型，并在早期的工作中引入了一些現(xiàn)在廣為人知的基本概念。例如，在識(shí)別圖像領(lǐng)域，他研究了如何在神經(jīng)網(wǎng)絡(luò)中學(xué)習(xí)分層特征表示。如今，這一概念經(jīng)常被用于許多識(shí)別任務(wù)。
他和Léon Bottou一起提出了一個(gè)被應(yīng)用于每一個(gè)現(xiàn)代深度學(xué)習(xí)軟件中的理念，即學(xué)習(xí)系統(tǒng)可以被構(gòu)建為復(fù)雜的模塊網(wǎng)絡(luò)，在這個(gè)網(wǎng)絡(luò)中，反向傳播通過自動(dòng)分化來執(zhí)行。他們還提出了能夠控制結(jié)構(gòu)化數(shù)據(jù)的深度學(xué)習(xí)體系結(jié)構(gòu)。
3. Bengio
序列概率模型（Probabilistic models of sequences）
20世紀(jì)90年代，Bengio將神經(jīng)網(wǎng)絡(luò)與概率模型（如隱馬爾可夫模型）相結(jié)合。它被用在AT&T/NCR閱讀手寫支票的系統(tǒng)里，這被認(rèn)為是20世紀(jì)90年代神經(jīng)網(wǎng)絡(luò)研究的巔峰，現(xiàn)代深度學(xué)習(xí)語音識(shí)別系統(tǒng)正在擴(kuò)展這些概念。
高維詞嵌入和注意力模型
2000年，Bengio發(fā)表了具有里程碑意義的論文《神經(jīng)概率語言模型（A Neural Probabilistic Language Model）》，引入高維詞嵌入作為詞的意義表示，Bengio的研究對(duì)自然語言處理任務(wù)產(chǎn)生了巨大而持久的影響，其中包括語言翻譯、問和視覺回答。
他的團(tuán)隊(duì)還引入了一種注意力機(jī)制，這種注意力機(jī)制在機(jī)器翻譯方向取得了突破，成為深度學(xué)習(xí)中順序處理的關(guān)鍵組成部分。
生成對(duì)抗網(wǎng)絡(luò)
自2010年以來，Bengio關(guān)于生成深度學(xué)習(xí)的論文，特別是與Ian Goodfellow共同開發(fā)的生成對(duì)抗網(wǎng)絡(luò)(GANs)，在計(jì)算機(jī)視覺和計(jì)算機(jī)圖形學(xué)領(lǐng)域引發(fā)了一場革命。一個(gè)的由此引發(fā)的驚人應(yīng)用中，電腦可以自動(dòng)生成原創(chuàng)圖像，而這種能力被認(rèn)為與人類智能類似。
05 一些評(píng)語
ACM主席Cherri M.Pancake：
人工智能現(xiàn)在是所有科學(xué)領(lǐng)域中增長最快的領(lǐng)域之一，也是社會(huì)上談?wù)撟疃嗟脑掝}之一。
人工智能的發(fā)展和人們對(duì)它的興趣，在很大程度上要?dú)w功于Bengio、Hinton和LeCun獲得的深度學(xué)習(xí)最新進(jìn)展。這些技術(shù)正被數(shù)十億人使用。任何口袋里有智能手機(jī)的人都能實(shí)實(shí)在在體驗(yàn)到自然語言處理和計(jì)算機(jī)視覺方面的進(jìn)步，而這在10年前是不可能的。除了我們每天使用的產(chǎn)品，深度學(xué)習(xí)的新進(jìn)展也為科學(xué)家們提供了研究醫(yī)學(xué)、天文學(xué)、材料科學(xué)的強(qiáng)大新工具。
谷歌高級(jí)研究員、谷歌人工智能高級(jí)副總裁杰夫·迪恩（Jeff Dean）：
深度神經(jīng)網(wǎng)絡(luò)對(duì)現(xiàn)代計(jì)算機(jī)科學(xué)的一些重大進(jìn)步做出了巨大貢獻(xiàn)，幫助科學(xué)家在計(jì)算機(jī)視覺、語音識(shí)別和自然語言理解等領(lǐng)域長期存在的問題上取得了實(shí)質(zhì)性進(jìn)展。
這一進(jìn)步的核心是30多年前由以上三位深度學(xué)習(xí)大師開發(fā)的基礎(chǔ)技術(shù)。通過大幅提高計(jì)算機(jī)感知世界的能力，深度神經(jīng)網(wǎng)絡(luò)不僅改變了計(jì)算領(lǐng)域，而且正在改變科學(xué)和人類努力的每一個(gè)領(lǐng)域。
聯(lián)系客服
