來源：Quora 譯者：張巨巖等@新智元
這個Quora 機(jī)器學(xué)習(xí)問答系列將會邀請眾多這個領(lǐng)域的大神來答疑解惑。
這次參加的是 Yoshua Bengio，計算機(jī)科學(xué)家，畢業(yè)于麥吉爾大學(xué)，在MIT和AT&T貝爾實驗室做過博士后研究員，自1993年之后就是蒙特利爾大學(xué)任教，與 Yann LeCun、 Geoffrey Hinton并稱為“深度學(xué)習(xí)三巨頭”，也是神經(jīng)網(wǎng)絡(luò)復(fù)興的主要的三個發(fā)起人之一，在預(yù)訓(xùn)練問題、為自動編碼器降噪等自動編碼器的結(jié)構(gòu)問題和生成式模型等等領(lǐng)域做出重大貢獻(xiàn)。他早先的一篇關(guān)于語言概率模型的論文開創(chuàng)了神經(jīng)網(wǎng)絡(luò)做語言模型的先河，啟發(fā)了一系列關(guān)于 NLP 的文章，進(jìn)而在工業(yè)界產(chǎn)生重大影響。此外，他的小組開發(fā)了 Theano 平臺。
以下是重點30個問題，（去掉一些太專業(yè)的問題）：
Q1：你怎么看強(qiáng)化學(xué)習(xí)？它是像Yann LeCun說的那樣，是畫龍點睛的一筆嗎？
如果我們只使用強(qiáng)化信號來引導(dǎo)學(xué)習(xí)，那么我同意Yann LeCun的說法，它是畫龍點睛的最后一筆。糟糕的是：當(dāng)使用的全局強(qiáng)化信號并不是對于特征的已知可微函數(shù)時（這種事經(jīng)常發(fā)生），擴(kuò)大能根據(jù)這個信號而訓(xùn)練的隱藏單元的數(shù)量（或是行動維度）就會有嚴(yán)重的問題。行動的樣例數(shù)量、隨機(jī)樣本數(shù)量、或是嘗試次數(shù)，隨著單元數(shù)量的增加，可能不得不至少以線性的速度增長，才能在質(zhì)量的信度分配方面達(dá)到和反向傳播技術(shù)差不多的水平。如果行動空間很大，這會是一個很麻煩的問題。然而，就像在Yann提到這件事時說的那樣，我們在做強(qiáng)化學(xué)習(xí)的時候也應(yīng)該做非監(jiān)督式學(xué)習(xí)。那么它就會變得更具可信度，能夠在大規(guī)模的環(huán)境下發(fā)揮作用。
Q2：理解大腦對于理解深度學(xué)習(xí)來說有多重要？反過來呢？
就像許多早期從事神經(jīng)網(wǎng)絡(luò)研究的人（包括我的同事Geoff Hinton和Yann LeCun）一樣，我相信，當(dāng)我們思考我們對于大腦已經(jīng)知道了什么的時候，我們會有不錯的機(jī)會來從中學(xué)習(xí)一些對于搭建AI來說有用的東西，并且這一點隨著神經(jīng)科學(xué)家們收集了越來越多的大腦數(shù)據(jù)而變得越來越確定。這個信念與相反的想法也是有聯(lián)系的——為了真正理解為何大腦讓我們擁有智能，我們需要對于大腦中發(fā)生的事構(gòu)建一個“機(jī)器的學(xué)習(xí)”的解釋，也就是說，搭建一個計算的、數(shù)學(xué)的模型來解釋我們的大腦是怎樣學(xué)習(xí)如此復(fù)雜的東西、又怎樣表現(xiàn)出如此成功的信度分配的。為了驗證這個解釋，我們應(yīng)該能夠運(yùn)行一種機(jī)器學(xué)習(xí)算法，它擁有從神經(jīng)生物學(xué)中提取出來的基本原則，但它沒有必要理解這些原則（但是可能有必要將這些原則在它的“大腦”中實現(xiàn)，或是為它提供一些我們與生俱來的知識）。就我所知的而言，我們對于大腦怎樣做一些反向傳播技術(shù)做得很好的事情還沒有一個可信的機(jī)器學(xué)習(xí)解釋——也就是說，還沒有明白，腦內(nèi)神經(jīng)元突觸應(yīng)該怎樣產(chǎn)生變化，才能讓作為一個整體的大腦對于世界有更好的理解、做出更好的行為。這是這些日子經(jīng)常在我腦海中徘徊不去的話題之一。
Q3：有沒有深度學(xué)習(xí)永遠(yuǎn)不能學(xué)會的東西？
這取決于你說的深度學(xué)習(xí)指什么。如果你指的是現(xiàn)在我們知道的算法，那么答案很有可能是“是的”。但是，毫無疑問，隨著這個領(lǐng)域的研究不斷探索，深度學(xué)習(xí)還在繼續(xù)演化，很明顯深度學(xué)習(xí)的應(yīng)用范圍有不斷擴(kuò)大的趨勢。神經(jīng)網(wǎng)絡(luò)曾經(jīng)在模式識別問題上非常成功，音素識別和物體識別都是很好的例子。然而，我們可以看到越來越多神經(jīng)網(wǎng)絡(luò)方面的工作正在靠近傳統(tǒng)的AI領(lǐng)域，比如推理、知識表征、以及操作符號數(shù)據(jù)。我相信，這些近期的工作只不過是冰山一角，但是當(dāng)然我的手里并沒有水晶球來做預(yù)言。如果我們未來對于深度學(xué)習(xí)的定義中，包括了以受神經(jīng)啟發(fā)的算法來復(fù)制所有人類認(rèn)知能力的能力，那么“這個領(lǐng)域中沒有深度學(xué)習(xí)學(xué)不會的事情”的假設(shè)就是相當(dāng)合理的。不過，到時候，可能會有一些人類永遠(yuǎn)不能學(xué)會的任務(wù)；對于這些任務(wù)，很容易得出結(jié)論：沒有機(jī)器能完美地完成這些任務(wù)，因為用來訓(xùn)練的樣本數(shù)量太局限了。
Q4：你對于Kaggle和其他機(jī)器學(xué)習(xí)競賽有什么看法？
就像許多其他東西一樣，適量的機(jī)器學(xué)習(xí)競賽是很好的。激勵一些愿意與人競爭的學(xué)生（特別是新學(xué)生）是一件很棒的事。這讓他們真正地學(xué)習(xí)如何操作機(jī)器學(xué)習(xí)，只讀論文你是學(xué)不到這些的?；鶞?zhǔn)測試也扮演著重要的角色，讓我們的注意力能集中到超越此前最新技術(shù)的全新方法上。但是它們不應(yīng)該被用來作為拋棄那些敗于基準(zhǔn)測試的研究的理由。如果有什么東西在一個基準(zhǔn)測試上表現(xiàn)很好，這可能意味著我們應(yīng)該向它投以一些關(guān)注，但是相反的推論卻并不正確。你可能有一個偉大的想法，但是你做出的方法現(xiàn)在表現(xiàn)得卻不是很好，因為有一個討厭的細(xì)節(jié)問題壓抑了它的表現(xiàn)——而這可能在下一年就能被修正過來。這些日子，機(jī)器學(xué)習(xí)評論者們對于實驗結(jié)果的比較被賦予了過多的重要性。我相信這是某種懶惰。查閱比較結(jié)果的表格的確比在實際上嘗試?yán)斫庹撐闹械乃枷胍唵蔚枚?，局限在它給出的可能性里也的確更為輕松。
Q5：深度學(xué)習(xí)研究將去往何方？
研究從定義上來說就是在不斷探索的，這意味著（a）我們不知道什么能起效，以及（b）我們需要探索許多途徑，我們需要整個科學(xué)社區(qū)在研究方向上有很大的差異性。所以我只能告訴你我目前的直覺，我在哪些地方看到吸引了我直覺的重要挑戰(zhàn)和機(jī)遇。這里是其中的一些：
非監(jiān)督式學(xué)習(xí)是關(guān)鍵，我們現(xiàn)在的做法還并不正確（我和其他人在這一方面寫過、說過很多觀點試圖糾正）
深度學(xué)習(xí)研究可能會繼續(xù)擴(kuò)張，從原本的傳統(tǒng)模式識別任務(wù)擴(kuò)張到AI的全部任務(wù)，包括符號操作、記憶、規(guī)劃和推理。這對于完整地理解自然語言和與人對話（也就是說，通過圖靈測試）來說將會非常重要。相似的是，我們見證著深度學(xué)習(xí)正在延伸到強(qiáng)化學(xué)習(xí)、控制、以及機(jī)器人學(xué)的領(lǐng)域，而這只不過是一個開始。
對于AI，我們可能仍然需要再獲得許多知識，更好地理解大腦并嘗試找到大腦運(yùn)作的機(jī)器學(xué)習(xí)解釋。
最大似然可以加以改進(jìn)，當(dāng)在復(fù)雜的高維度領(lǐng)域中學(xué)習(xí)時（非監(jiān)督式學(xué)習(xí)和結(jié)構(gòu)化輸出情景中興起的情況）它不一定是最佳的目標(biāo)。
基于深度學(xué)習(xí)的AI（不只是消費(fèi)者產(chǎn)品）將會很大地受益于計算力的大幅提高，這可能意味著出現(xiàn)專門的硬件；這是因為，AI需要大量關(guān)于世界的知識（然后對它們進(jìn)行推理），這就需要用非常大量的數(shù)據(jù)來訓(xùn)練大型模型，這一切都需要比我們現(xiàn)在使用的高得多的計算力。
Q6：一個人怎樣才能開始機(jī)器學(xué)習(xí)？/對于一個熟悉機(jī)器學(xué)習(xí)基本概念的人來說，開始接觸深度學(xué)習(xí)時有什么不錯的資源？
首先你需要在數(shù)學(xué)和計算機(jī)科學(xué)方面有適當(dāng)?shù)幕A(chǔ)。深度學(xué)習(xí)方面，你可以看看MIT出版社的《深度學(xué)習(xí)》（現(xiàn)在可以在線閱讀，最終MIT出版社會將它印刷成冊）第1部分，重溫一下數(shù)學(xué)和計算機(jī)科學(xué)的知識、或是看一下數(shù)學(xué)和計算機(jī)科學(xué)中哪些領(lǐng)域與深度學(xué)習(xí)最有關(guān)系。然后你需要了解一些機(jī)器學(xué)習(xí)方面的知識（有一些不錯的書，比如Chris Bishop寫的和Kevin Murphy寫的，視頻的話比如有吳恩達(dá)的coursera課程和Hugo Larochelle的神經(jīng)網(wǎng)絡(luò)授課視頻，你也可以從《深度學(xué)習(xí)》這本書的第5章中獲得許多基本知識的總結(jié)）。然后你需要開始練習(xí)，也就是說，親手編寫一些學(xué)習(xí)算法、用數(shù)據(jù)來訓(xùn)練它們——比如說，嘗試參加一些Kaggle競賽。試著成為優(yōu)化超參數(shù)和選擇恰當(dāng)模型方面的專家吧。同時，繼續(xù)保持閱讀。如果你對于深度學(xué)習(xí)感興趣，我的書《深度學(xué)習(xí)》中第3章將會為你使用大多數(shù)常見的算法打下基礎(chǔ)。到那時，你應(yīng)該有了足夠的背景知識、能夠以穩(wěn)定的頻率來閱讀勾起你興趣的論文了。
《深度學(xué)習(xí)》可以在網(wǎng)站上（http://www.deeplearningbook.org/）閱讀所有的草稿了。
Q7：你怎么看OpenAI？
我覺得在我所在的社區(qū)中有另一個玩家加入是一件很棒的事，它在市場和研究人員的文化兩方面的影響力進(jìn)一步推動著業(yè)界實驗室轉(zhuǎn)向重視長遠(yuǎn)的目標(biāo)，讓基礎(chǔ)研究不只由學(xué)界來做。我強(qiáng)烈地相信，如果能以幾十年的度量來考慮，如果我們對于短期目標(biāo)沒有那么關(guān)注、沒有那么貪婪（試圖立刻利用起來賺錢），我們本來是可以在探索AI的道路上走到更遠(yuǎn)的地方的。
Q8：目前對于深度學(xué)習(xí)的炒作是否言過其實？
如果它是炒作，它就會夸大實際情況。這種夸張是存在，我見到過。當(dāng)有人認(rèn)為人工智能的研究比實際情況更加接近人類表現(xiàn)時，這就是炒作，而這種想法通常是依據(jù)人們在電影或科幻作品中見到的AI場景而得出的心理印象。
在我的生涯中，我經(jīng)常會覺得，通常情況下，人類很貪婪。我們在短期目標(biāo)中會花費(fèi)很多精力，如果我們在長期目標(biāo)中持續(xù)這種狀態(tài)的話，我們會收獲更多。而這意味著要接受很多事實：在AI領(lǐng)域還有很多根本性挑戰(zhàn)；我們不知道還要用多久才能解決這些挑戰(zhàn)（我們也有可能永遠(yuǎn)無法成功解決）。我感覺人類有一種存在于本性中的傾向：更傾向于“利用”知識，而非“探索”收集更多的知識。這種傾向?qū)τ谖覀兊淖嫦葋碚f是很有意義的，因為他們每天都面臨危險。于是成功存活下來就變成了一種短期顧慮。公司想要快速賺錢。投資人對它也有需求。政府官員想要在其四年任期結(jié)束之前加快經(jīng)濟(jì)發(fā)展，而且他們也受到公司和非常富有的人的影響而被敗壞，進(jìn)而他們根本不在乎這對于人們的長期回報。學(xué)術(shù)界應(yīng)該擔(dān)負(fù)起擔(dān)憂長遠(yuǎn)未來的責(zé)任，但是他們經(jīng)常被卷入到政府和公司的短期想法中（他們?yōu)檠芯刻峁┵Y金），或者陷入——“出版或死亡”和“短期增加研究強(qiáng)度以提高基準(zhǔn)測試的表現(xiàn)”——的邏輯中而無法自拔。
這即是說，沒有被夸大的是：深度學(xué)習(xí)已經(jīng)有很好的表現(xiàn)（經(jīng)過適當(dāng)?shù)脑O(shè)計并得到所需的數(shù)據(jù)后），而且也有可能被轉(zhuǎn)成重大經(jīng)濟(jì)影響和增長。我們可能在某些非常有限的領(lǐng)域中找到了接近人類表現(xiàn)的方式，或者說，在之前技術(shù)基礎(chǔ)上提升很多以至于有非常明顯的經(jīng)濟(jì)價值。但是這距離人類級別的智能還非常遙遠(yuǎn)。
Q9：在深度學(xué)習(xí)方面有哪些開放的研究領(lǐng)域？
每個研究人員對此都有看法，這很好。這里是我的想法：
非監(jiān)督學(xué)習(xí)真的會發(fā)揮巨大作用
生成模型會根據(jù)一系列變異度很大的自然圖像和聲音來生成簡潔的圖像和聲音
半監(jiān)督學(xué)習(xí)會發(fā)揮作用，即使被標(biāo)記的數(shù)據(jù)集不微小；
學(xué)習(xí)數(shù)據(jù)到空間的雙向轉(zhuǎn)換方式，空間中的變量是相互糾纏的（或者大部分獨 立的）
將（迭代式）推理帶入到深度學(xué)習(xí)中來處理隱性變量的非因子后驗概率
在我們的模型中引入更多推理能力
大規(guī)模自然語言理解和知識表征
序列數(shù)據(jù)長距離相關(guān)性模型并讓學(xué)習(xí)器在多時間尺度上發(fā)現(xiàn)框架性的表征方式
更好地理解（并修補(bǔ)）有時會出現(xiàn)的優(yōu)化問題（例如，在非監(jiān)督學(xué)習(xí)或長距離 相關(guān)性遞歸網(wǎng)絡(luò)中）
訓(xùn)練將計劃（能夠理解假設(shè)分析場景，也許隨機(jī)地通過一個生成式組件）作 為一部分學(xué)習(xí)步驟的模型（而且還能做決定）
將強(qiáng)化學(xué)習(xí)擴(kuò)展到較大的活動空間中
最大似然定理有一些已知的不足（例如在訓(xùn)練和測試情況下有錯配現(xiàn) 象），而且我們需要繞過它們（也許連最大似然定理一起拋棄）
彌合深度學(xué)習(xí)和生物學(xué)之前的空白
加速理論理解深度學(xué)習(xí)（優(yōu)化問題是一方面，表征或統(tǒng)計方面也需要更多的理 論）
研究特殊的硬件以支持離線訓(xùn)練模型來開發(fā)消費(fèi)者產(chǎn)品，但這從科學(xué)的角度看可能更重要，訓(xùn)練更大的模型來捕捉更多的知識，進(jìn)而為人類級別的AI研究開辟道路
很多應(yīng)用還欠開發(fā)，我特別想看到在健康方面的研究工作（如缺失值等特定問 題，還有通過遷移學(xué)習(xí)利用小型研究數(shù)據(jù)）。
Q10：深度學(xué)習(xí)能像在視覺和語音領(lǐng)域中那樣在自然語言處理領(lǐng)域中取得成功嗎？
我當(dāng)然相信會這樣！最近幾年的進(jìn)步暗示了進(jìn)步幅度會更快。例如在神經(jīng)機(jī)器翻譯中的相關(guān)工作，這方面我知道的比較清楚。我認(rèn)為我們在來年會看到更多，而深度學(xué)習(xí)也在逐步朝著自然語言理解中存在的諸多根本性挑戰(zhàn)方向發(fā)展。
Q11：深度學(xué)習(xí)與機(jī)器學(xué)習(xí)有怎樣的不同？
深度學(xué)習(xí)是機(jī)器學(xué)習(xí)的一部分。在機(jī)器學(xué)習(xí)中有很多概念和想法，而深度學(xué)習(xí)是從這個更大集合中抽離出的一部分。很多大學(xué)曾有一段時間不再教學(xué)深度學(xué)習(xí)，但是現(xiàn)在，在某些地方，受到關(guān)于深度學(xué)習(xí)的炒作影響后，這種局勢可能會逆轉(zhuǎn)，而這并不好：學(xué)生繼續(xù)學(xué)習(xí)經(jīng)過幾十年機(jī)器學(xué)習(xí)研究而得出的不同想法和概念是很重要的，這提供了更加廣闊的思路，也為新發(fā)現(xiàn)打開大門。
Q12：對于正在進(jìn)入機(jī)器學(xué)習(xí)領(lǐng)域的年輕研究人員，你有什么建議？
確定你在數(shù)學(xué)和計算機(jī)方面經(jīng)過了很強(qiáng)的訓(xùn)練（包括，實踐部分，如編程）。讀書，讀很多文獻(xiàn)，但這還不夠：你需要發(fā)展你的直觀理解，通過以下方式：（1）自己編寫很多學(xué)習(xí)算法，如嘗試重現(xiàn)文獻(xiàn)中的方法；（2）例如參加比賽或者在重現(xiàn)文獻(xiàn)中方法后進(jìn)一步改善結(jié)果，從而學(xué)會去調(diào)試超參數(shù)（hyper-parameters）和探索（框架、目的函數(shù)等等）變異性。接著找人一起做頭腦風(fēng)暴，在探索和測試新創(chuàng)意時分享工作負(fù)擔(dān)。和已有的小組一起工作是一種理想方式，或者招募自己的學(xué)生與你一起工作，如果你是一個教職人員的話。
Q13：AI對人類有生存威脅嗎？
我們未來某天可能實現(xiàn)的這類能夠達(dá)到甚至超過人類表現(xiàn)的AI有很多不確定性。即使我站在樂觀主義的一方（因為這種不確定性），我們不能否認(rèn)存在這種可能：我們不想發(fā)生的事情發(fā)生了。這就是我簽下了未來生活公開信以開發(fā)一個穩(wěn)定而有益的AI的原因。
然而，請記住這種潛在威脅現(xiàn)在還離我們很遠(yuǎn)。媒體總喜歡夸大其詞來吸引注意力。這會妨礙AI研究。相反的，我們應(yīng)該鼓勵相應(yīng)領(lǐng)域的研究來更好的理解這些問題，進(jìn)而如果某天出現(xiàn)一些事情要具體處理時，我們也能更好的準(zhǔn)備并開發(fā)對人類來說更安全的AI。
談到這里，我相信將媒體的注意力從AI帶來的長遠(yuǎn)角度科幻性質(zhì)的恐懼轉(zhuǎn)移到短期更具體的政治經(jīng)濟(jì)問題上是很重要的。但我們應(yīng)該提前考慮這些問題，而不是等到人類受到傷害（例如，失去工作）雖然會有少數(shù)幸運(yùn)的人會變得超級富有而且有很大的權(quán)力。我們整體需要對如何利用AI帶來的進(jìn)步做出英明抉擇，為全體利益著想而非少數(shù)。為了適應(yīng)科學(xué)技術(shù)帶給我們愈來愈強(qiáng)大的力量，叢林法則是不適用的：我們需要在個體和整體上都有英明的遠(yuǎn)見，這不僅是為了我們，也為了我們的后代。
Q14：你對只用一個學(xué)習(xí)算法解決問題是怎么看的？
這是一個很有意思的想法，而且有點像皮質(zhì)的功能，因為如果有必要的話，同樣的皮質(zhì)部分可以做其他部分的工作（即使每個區(qū)域由于初期的結(jié)構(gòu)部署而被安排好做特定工作）。這很有意思，因為如果存在一個核心學(xué)習(xí)算法（雖然可能涉及到一些概念）完成多種任務(wù)的話，那么這種算法很可能很強(qiáng)大而且很實用，更不用提還能提供有用的科學(xué)觀點。我認(rèn)為，它足以有趣以至于不找尋它的人是不正常的，萬一它存在呢。然而，大腦除了皮質(zhì)之外，還存在著其他部分，例如海馬區(qū)，有可能根據(jù)不同的算法學(xué)習(xí)并與皮質(zhì)交流，近期記憶網(wǎng)絡(luò)和神經(jīng)圖靈機(jī)的相關(guān)工作也暗示我們可以受益于多種不同類型的組件。另外，大腦也很有可能結(jié)合了非監(jiān)督學(xué)習(xí)和強(qiáng)化學(xué)習(xí)（后者有研究透徹的生物學(xué)證據(jù)）。
Q15：在學(xué)術(shù)界做深度學(xué)習(xí)研究與在產(chǎn)業(yè)界相比有哪些好處和挑戰(zhàn)？（為什么你是仍堅守在學(xué)術(shù)領(lǐng)域的為數(shù)不多的深度學(xué)習(xí)研究人員之一？）
據(jù)我所知：
好處:
為大眾的利益而工作的滿足感，為人類，而不是財富占有者或者投資人，在更加開放的環(huán)境中工作而沒有專利使用限制的困擾
身邊會有很多聰明的研究生和博士后，下一代研究人員而且也會影響他們
挑戰(zhàn):
不得不花很多時間寫方案來獲得資金、在委員會中任職等
只有訪問公開數(shù)據(jù)集的權(quán)利（但我認(rèn)為這其中有很多有趣的數(shù)據(jù)集）
沒有大的工程團(tuán)隊來開發(fā)大型系統(tǒng)
沒有很多計算資源
然而，我必須承認(rèn)我在后兩件事情上做的很好，這要感謝我當(dāng)前接收到的（經(jīng)常從大學(xué)那里）慷慨的資金和贊助。我很慶幸我的大學(xué)高度珍視我的存在而且只限定我每年一次（除了學(xué)術(shù)休假）教學(xué)研究生課程，在過去的15年中。當(dāng)然這些只是我幸運(yùn)地得到了這樣的環(huán)境。
Q16：你曾說過當(dāng)前機(jī)器學(xué)習(xí)算法的主要限制是它們學(xué)習(xí)需要太多的數(shù)據(jù)。你能詳細(xì)說明這一點嗎？
在孩子的前兩年生活中（甚至在學(xué)會語言之前），他們本質(zhì)上是通過看沒有被標(biāo)記的數(shù)據(jù)學(xué)習(xí)。孩子們在童年看到的自然語言比現(xiàn)在訓(xùn)練得出的最好的語音識別器和機(jī)器翻譯系統(tǒng)所需的文本數(shù)量要少得多。這種差距是指數(shù)級別的。為什么？人們似乎能夠更好的利用他們能夠得到的較少的數(shù)據(jù)集，而且我相信這是因為他們自己對周圍的世界建立了一個能夠捕捉因果關(guān)系的模型。這讓我們能夠預(yù)測在某些假定條件下什么會發(fā)生，即使這些條件與我們以往經(jīng)歷過的條件有明顯的不同。我從來沒有真實經(jīng)歷過車禍（例如），但是我的大腦可以充分的模擬它（并預(yù)見結(jié)果），進(jìn)而我可以自動的做出計劃來規(guī)避這樣的不幸。所以未來還有很多事情需要我們發(fā)掘。
Q17：為什么非監(jiān)督學(xué)習(xí)很重要？深度學(xué)習(xí)在其中起什么作用？
深度學(xué)習(xí)其實是關(guān)于學(xué)習(xí)表征方式，這意味著學(xué)習(xí)有益于捕捉我們所關(guān)注的統(tǒng)計相關(guān)性的中間概念，特征或隱性變量。這些相關(guān)性來自于從輸入變量到輸出變量的監(jiān)督學(xué)習(xí)過程，或在變量的任何子集之間的非監(jiān)督學(xué)習(xí)過程。通常來說，監(jiān)督學(xué)習(xí)用于教電腦學(xué)會對解決特定任務(wù)很重要的中間概念（例如類別）。然而，我們看到監(jiān)督式深層網(wǎng)絡(luò)在它們的網(wǎng)絡(luò)層中可以發(fā)掘出有意義的中間概念。非監(jiān)督學(xué)習(xí)很相似，不同在于我們讓模型捕捉了所有變量之間可能的相關(guān)性，不區(qū)別輸入和輸出。用監(jiān)督學(xué)習(xí)來完成AI可能需要讓電腦從所有與這些概念有關(guān)的數(shù)據(jù)集中學(xué)會所有對我們很重要的概念。這不是人類的學(xué)習(xí)方式：是的，由于語言的存在，我們得到了一些闡明新概念的示例，但是我們觀察到的很多東西并沒有明確的標(biāo)記，至少一開始是這樣的。孩子們并沒有讓大人告訴他們每幅圖的每個像素是什么，或者每幅圖中的物體是什么，什么是語法結(jié)果，每句話中的每個單詞的確切意思是什么。我們從簡單的觀察中提取出大部分信息（可能通過“動作—感知”循環(huán)），而這就是非監(jiān)督學(xué)習(xí)的基本原理。我們希望深度非監(jiān)督學(xué)習(xí)將能夠發(fā)現(xiàn)（可能需要很少的標(biāo)記數(shù)據(jù)的幫助）所有的概念和事情發(fā)生的起因（一些被直接標(biāo)記好，一些沒有標(biāo)記），進(jìn)而解釋我們看到的現(xiàn)象。所以我相信這個方向上的進(jìn)步對實現(xiàn)AI有本質(zhì)性推動作用。而且我們都是這么想的：）
如果你仔細(xì)想想，科學(xué)家正在做非監(jiān)督學(xué)習(xí)：觀察世界，想出解釋某種現(xiàn)象的模型，收集更多觀察數(shù)據(jù)（雖然是有目的的）來測試它們，接著不斷的改進(jìn)這種解釋世界運(yùn)行原理的模型。然而我們確實從教育中得到了提升。
Q18：你認(rèn)為，深度學(xué)習(xí)未被研究透徹的眾多部分中，哪個是最令人困惑的？
這里是一個研究得很不充分且真的令我疑惑不解的一個例子：
我們可以用一個高效在線算法（不需要儲存我們一生中所有的心理狀態(tài)然后倒序播放）在時間中（對于訓(xùn)練遞歸網(wǎng)絡(luò)）達(dá)到像反向傳播一樣，或者更好的效果嗎？大腦顯然做到了這一點，但我們沒有任何線索。
Q19：你認(rèn)為傳統(tǒng)的統(tǒng)計學(xué)習(xí)是否會在不久的將來再次戰(zhàn)勝深度學(xué)習(xí)（或者任何基于神經(jīng)網(wǎng)絡(luò)的方法）？
神經(jīng)網(wǎng)絡(luò)是統(tǒng)計學(xué)習(xí)方法?？茖W(xué)不是戰(zhàn)斗，而是協(xié)作。我們都是在彼此的思想上建立自己的思想?？茖W(xué)是一種愛的行動，不是戰(zhàn)爭的行動。一種對于周圍的世界的美麗產(chǎn)生的愛，一種愿意分享和合作的愛。從情感上來說，這使科學(xué)成為一種讓人感到高度滿足的活動。
Q20：你對于進(jìn)入機(jī)器學(xué)習(xí)領(lǐng)域的年輕研究者們有什么建議？
確認(rèn)你在數(shù)學(xué)和計算機(jī)科學(xué)領(lǐng)域(包括實際的部分，也就是編程)有扎實的背景。讀書和（大量的）論文，但這還不夠：你需要培養(yǎng)出你的直覺，這可以通過（a）親手編寫相當(dāng)多的學(xué)習(xí)算法，比如重現(xiàn)論文中的結(jié)果，以及（b）學(xué)習(xí)怎樣微調(diào)超參數(shù)以及怎樣探索（架構(gòu)、對象函數(shù)等方面的）變種。然后，找到合作者，你可以與他們一起對想法進(jìn)行頭腦風(fēng)暴，并與他們一起分擔(dān)探索和測試新想法的工作量。當(dāng)然與一個已形成的團(tuán)隊一起工作非常理想，或者如果你是一位大學(xué)教師的話，你可以招募你自己的學(xué)生，和他們一起進(jìn)行工作。
Q21：一個人要怎么才能想出新的深度學(xué)習(xí)架構(gòu)？只是通過試錯嗎？
是，也不是。不是，因為對于一個單純的隨機(jī)搜索來說，能起作用的算法的空間太大了（均勻隨機(jī)的話，找到好東西的幾率非常?。?。是，因為這會是一種高度引導(dǎo)式的隨機(jī)探索，就像任何其他科學(xué)努力一樣。但請盡量弄清到底發(fā)生了什么，這無疑會給你帶來更多的好處。這不僅僅是與在算法的空間中進(jìn)行搜索有關(guān)，它也與在這一旅途上理解更多普適的概念有關(guān)。這就是隨機(jī)探索中“引導(dǎo)”的那一部分。它不同于只是想勝過基準(zhǔn)測試，而且從長遠(yuǎn)來看,它對其他人來說會更有用。提出理論來解釋你所看到的現(xiàn)象，然后通過建立一個專門為了打敗這個理論而設(shè)計的實驗來進(jìn)行測試。不斷重復(fù)這個過程。這就是科學(xué)的歷久彌堅的方法。
Q22：在研究預(yù)料之外的實驗結(jié)果時，比如你覺得某個想法應(yīng)該會有效、結(jié)果在實驗里卻沒有效果，你會用到什么技術(shù)？
好吧，通常來說，這要么是一個bug，要么就是更有趣的情況：它證明了你腦海中的模型應(yīng)該改一改了！你需要變得善于尋找bug（這需要練習(xí)），在機(jī)器學(xué)習(xí)中這并不是一件容易的事，因為許多bug仍然會允許及其繼續(xù)學(xué)習(xí)，只不過效果不那么好了。但無論如何，當(dāng)實驗結(jié)果與你的期望不符時，不要無視它！這是一個你應(yīng)該為之熱切期盼的機(jī)會;-)
有時候你腦海中的模型是錯誤的，但是別人可能不覺得你的結(jié)果讓他們驚訝，于是你將需要通過交流（可能是寫一篇論文，或者是與其他研究人員探討）來找出錯誤。
我最好的調(diào)試工具是我腦海中的模擬系統(tǒng)。讓模型在你的腦海中運(yùn)轉(zhuǎn)，越詳細(xì)越好，然后試著想象有什么事可能發(fā)生。
Q23：深度學(xué)習(xí)之后機(jī)器學(xué)習(xí)中的“下一個”大事會是什么？
第一，我根本沒有水晶球。第二，據(jù)我所知，當(dāng)我們實現(xiàn)了人類級別的AI后，深度學(xué)習(xí)的使命就結(jié)束了，而我很難預(yù)見這之后會發(fā)生什么。深度學(xué)習(xí)為神經(jīng)網(wǎng)絡(luò)帶來了一些想法。隨著時間推移，其他概念也會加入其中，從而一點點向著實現(xiàn)AI方向努力。我真的認(rèn)為有些想法會歷久彌新。這像是在問“我們研究了過擬合、欠擬合和容量之后，機(jī)器學(xué)習(xí)的下一個大事件是什么？”（過擬合、欠擬合和容量在80年代后期開始盛行。）這些想法永遠(yuǎn)不會過時，因為它們非常有用。顯然這類想法，如學(xué)習(xí)復(fù)合函數(shù)（深度）的提出（和重要性），會歷久彌新。但單憑其自身無法保證這一點。我們還有很多工作要完成。
Q24：你對概率圖模型是怎么看的？
概率圖模型的相關(guān)研究給我（和很多其他的深度學(xué)習(xí)研究人員）提供了一些偉大的洞見。它們是很多非監(jiān)督學(xué)習(xí)算法的基礎(chǔ)，也幫助人們理解了那些看起來不像是概率問題的模型（如自動編碼器）。
Q25：在自然語言方面，未來的深度學(xué)習(xí)會有怎樣的發(fā)展。
我相信，對于深度學(xué)習(xí)，自然語言處理是最讓人興奮的研究領(lǐng)域之一。這是一個長期存在的挑戰(zhàn)，而深度學(xué)習(xí)正試圖解決它們，而且我相信我們這套正確的工具能夠取得巨大進(jìn)步。
Q26:除了重構(gòu)輸入數(shù)據(jù)（例如像是自編碼器這樣的深度神經(jīng)網(wǎng)絡(luò)，其工作原理即是重構(gòu)輸入數(shù)據(jù)），還有其它什么任務(wù)能夠證明對深度網(wǎng)絡(luò)中的無監(jiān)督學(xué)習(xí)有用？
許多！
就我們目前知道的就有很多，例如：
在給定其它變量的情況下，預(yù)測另一個變量（偽似然函數(shù)）
給定其它的情況下，預(yù)測多個變量的子集（廣義的偽似然函數(shù)）
給定了以某種順序排列的前部分變量，預(yù)測下一個變量（完全可視的貝葉斯網(wǎng)絡(luò)，自回歸網(wǎng)絡(luò)，NADE，生成式循環(huán)神經(jīng)網(wǎng)絡(luò)）
給定一個有噪聲的輸入，恢復(fù)原始干凈的信號點（去噪過程）
預(yù)測輸入信號是來自于數(shù)據(jù)生成分布還是其他分布（像是一個概率分類器）（對比噪聲估計）
學(xué)習(xí)一個可逆函數(shù)，使其變換分布盡可能是階乘式的。（NICE，并且考慮到近似一個可逆函數(shù)，利用變分的自編碼器就有這樣的特性）
學(xué)習(xí)一個隨機(jī)變換，基于此，如果我們多次運(yùn)用這個隨機(jī)變換，我們能夠使我們的模型模型收斂到接近于數(shù)據(jù)生成分布的輸出。（生成隨機(jī)網(wǎng)絡(luò)、生成去噪自編碼器、擴(kuò)散反演=非平衡態(tài)熱力學(xué)系統(tǒng)）
學(xué)習(xí)生成分類器不能從訓(xùn)練樣本中辨別出的樣本（生成對抗網(wǎng)絡(luò)）
或者最大化某個概率模型中數(shù)據(jù)的似然概率
并且我確定我忘記了一些，并且會出現(xiàn)越來越多的基于無監(jiān)督式學(xué)習(xí)的模型。
Q27：你認(rèn)為利用AI技術(shù)能夠捕捉到人類失去理性的行為和思考過程嗎（例如 信任）？
當(dāng)然。你所謂的非理性即是指“錯的”。可能不能充分適用于這種情況。信任思維是非常理性的。理性于我而言就是:“利用可用的知識，做出正確的決定?！毙湃?，以及其它許多的人類舉動都是非常理性的。如果我們不相信任何人，我們哪里也去不了。最重要的是做對的事情。生物、文化的發(fā)展以及我們自己的經(jīng)歷已經(jīng)在我們心中對世界建立了一個模型。但是我們沒有意識到它的大部分。理性對于我來說，不是可以用幾句話或者幾個詞就能夠解釋的。它對于我來說就是意味著最優(yōu)的決策。
Q28：在機(jī)器學(xué)習(xí)中解釋一個模型有多重要？
這個問題就像是在問“一個人能夠完全解釋他的每個想法有多重要？”
那當(dāng)然很好啦，但是對于我們發(fā)現(xiàn)人類（或機(jī)器）是否一個好伙伴來說，不一定必要的?？山忉屝砸呀?jīng)被大肆地?zé)嶙h過了。在使用一個模型前我們真正需要的是對一個訓(xùn)練模型泛化能力的可靠保證。（這也正是圍繞一個訓(xùn)練模型不斷計算其測試的錯誤率以及不斷評估其不確定性要達(dá)到的目標(biāo)）。那即是指：我們應(yīng)該盡我們所能來理解機(jī)器學(xué)習(xí)模型的內(nèi)部到底是如何工作的，因為只有這樣，才能夠幫助我們排除模型中出現(xiàn)的故障，并且了解到模型的局限性，進(jìn)而建立更好的模型。
Q29：你認(rèn)為有可能讓算法從通常被當(dāng)做是噪音的數(shù)據(jù)中提取出有用的信息嗎？
只有當(dāng)其中存在一些潛在統(tǒng)計結(jié)構(gòu)時！（即使我們沒有看到它）
我確定，聽見我說話的貓只是認(rèn)為我在發(fā)出一些有趣的噪音（例如，對于貓來說，當(dāng)聲音變得響亮或聲調(diào)高時，這些噪音才包含信息）。當(dāng)我聽到一個完全不同的專業(yè)人士用各種專業(yè)詞匯談?wù)撃硞€話題時，這也很快也會變成噪音。只有當(dāng)我們構(gòu)建了合適的模型時，才能把噪音變得有規(guī)律，例如，用與眾不同的方式來預(yù)測，會承載有用信息。
Q30：我們?nèi)绾巫屔疃葘W(xué)習(xí)在計算能力較低的設(shè)備（如手機(jī)）上運(yùn)行？
開發(fā)專業(yè)硬件，設(shè)計相應(yīng)的學(xué)習(xí)算法。在我的實驗室中，我們研究在很低的分辨率下且不需要使用任何乘法運(yùn)算的神經(jīng)網(wǎng)絡(luò)的實現(xiàn)方法。這在很大程度上會減少計算消耗。
－－－－－－－－－－－－－－－－－－
歡迎大家報名翻譯，轉(zhuǎn)載請注明出處
