人算不如天算 之 電腦中的微型大腦
默認(rèn)分類 2010-11-25 21:20:58 閱讀1038 評(píng)論7 字號(hào)：大中小
你的大腦有多強(qiáng)大，你知道嗎？
看看這幅圖，它是由兩幅圖像交替而制成的gif動(dòng)畫，是不是很有立體感？不需要多少思考，大多數(shù)人一瞄就能說(shuō)出壁爐上各種器皿的位置或者木柴的大概紋理（伴隨著暈眩的副作用）。但如果要通過(guò)計(jì)算機(jī)來(lái)建立立體模型的話，要先通過(guò)輪廓提取之類的方法找出兩幅圖像之間的對(duì)應(yīng)點(diǎn)，然后計(jì)算相機(jī)的位置，最后才能用幾何的方法將立體模型建造出來(lái)，這個(gè)過(guò)程涉及不少?gòu)?fù)雜的矩陣計(jì)算。但人腦似乎用某種奇異的方法，不費(fèi)吹灰之力就完成了同樣的任務(wù)。
不僅是人腦，似乎簡(jiǎn)單得多的動(dòng)物，它們的腦在某些方面也有出眾的表現(xiàn)。澳大利亞的一組研究人員就花了相當(dāng)時(shí)間對(duì)蒼蠅腦的視覺部分進(jìn)行了分析，將其中一些神經(jīng)元的活動(dòng)以方程的形式提煉出來(lái)，結(jié)果得到了一個(gè)圖像運(yùn)動(dòng)檢測(cè)算法，在很多情況下比目前的算法效果要更好，效率也更高，但算法的整體原理在很大程度上仍然是個(gè)謎。
那為什么腦，或者說(shuō)由神經(jīng)元構(gòu)成的網(wǎng)絡(luò)，會(huì)有這么神秘而強(qiáng)大的能力呢？
研究大腦的學(xué)者恐怕會(huì)說(shuō)：這個(gè)嘛，不太清楚。
對(duì)于大腦產(chǎn)生智能的具體機(jī)理，學(xué)界有很多不同的觀點(diǎn)，但是在目前的研究水平上，不要說(shuō)大腦的整體運(yùn)作，就算是大腦的神經(jīng)元之間的互動(dòng)，也還藏有不少的謎團(tuán)，所以，我們離揭示大腦能力的奧秘還差很遠(yuǎn)很遠(yuǎn)。要更進(jìn)一步，還需要更精細(xì)的分析能力和更強(qiáng)大的計(jì)算能力。
但工程師有工程師的想法。他們相對(duì)而言不太關(guān)心具體的機(jī)理，更關(guān)注的是這東西是否管用。比如說(shuō)從蒼蠅腦里提取的算法，盡管研究人員既不明白每一步的意義，也不明白這個(gè)算法是如何一步一步演化形成的，但這不妨礙他們對(duì)這個(gè)神秘的算法的應(yīng)用。據(jù)報(bào)道，已經(jīng)有個(gè)別自動(dòng)導(dǎo)航系統(tǒng)在使用這個(gè)算法了。
同樣，對(duì)于大腦，工程師們想到的是：如果對(duì)神經(jīng)元組成的網(wǎng)絡(luò)進(jìn)行適當(dāng)?shù)哪M，或許可以完成對(duì)于傳統(tǒng)算法來(lái)說(shuō)困難的任務(wù)。沿著這個(gè)思路，他們得到了“人工神經(jīng)網(wǎng)絡(luò)”，一類被廣泛應(yīng)用的人工智能算法。
【簡(jiǎn)單的拼板】
要模擬生物中的神經(jīng)網(wǎng)絡(luò)，那就要明白神經(jīng)細(xì)胞之間通訊的大概原理。
神經(jīng)細(xì)胞
神經(jīng)元細(xì)胞的構(gòu)造相當(dāng)復(fù)雜，主要由細(xì)胞體、樹突和軸突構(gòu)成。細(xì)胞體負(fù)責(zé)各種后勤和調(diào)控工作，而樹突和軸突的功能則是完成細(xì)胞之間的通訊。樹突負(fù)責(zé)接收其它細(xì)胞的信號(hào)，而軸突負(fù)責(zé)把細(xì)胞的信號(hào)傳給別的細(xì)胞。如果神經(jīng)細(xì)胞接收到的信息滿足一定的條件，它就會(huì)被激活，然后開始向其它細(xì)胞傳遞信號(hào)。具體的信號(hào)處理與傳遞過(guò)程相當(dāng)復(fù)雜，甚至還涉及其他種類的細(xì)胞。
但是，對(duì)于工程師來(lái)說(shuō)，這樣的描述甚至仍然太復(fù)雜了。本著抽象和過(guò)度簡(jiǎn)化的原則，他們建立了神經(jīng)細(xì)胞的一個(gè)非常簡(jiǎn)化的模型：人工神經(jīng)元。
人工神經(jīng)元
一個(gè)人工神經(jīng)元可以分為三個(gè)部分。第一部分是輸入，負(fù)責(zé)接收來(lái)自外部的信號(hào)；第二部分是信息處理，它將來(lái)自其它神經(jīng)元的信號(hào)，按照信號(hào)的性質(zhì)和重要性進(jìn)行匯總后，再根據(jù)一定的條件判斷是否發(fā)出信號(hào)，以及發(fā)出信號(hào)的強(qiáng)度；最后一部分是輸出，將信號(hào)輸出到外部，有可能是到別的神經(jīng)元，也有可能直接作為神經(jīng)網(wǎng)絡(luò)的輸出。
這是個(gè)相當(dāng)簡(jiǎn)單的模型，真實(shí)的神經(jīng)細(xì)胞運(yùn)作的方式遠(yuǎn)遠(yuǎn)要更復(fù)雜。簡(jiǎn)單的模型好處在于編程和分析的難度都比較低。從實(shí)用性的角度來(lái)看，這要比實(shí)打?qū)嵉啬M一個(gè)神經(jīng)細(xì)胞更劃算。
【容易的拼圖】
接下來(lái)的工作，就是要將人工神經(jīng)元拼起來(lái)，做成一個(gè)人工神經(jīng)網(wǎng)絡(luò)。這一步看起來(lái)不難，但到底怎么拼，要拼成什么樣的結(jié)構(gòu)，這仍然是個(gè)問(wèn)題。
一個(gè)看起來(lái)明智的選擇就是直接模擬大腦結(jié)構(gòu)，也就是采用帶有反饋的結(jié)構(gòu)。這樣一來(lái)更貼近大腦，二來(lái)也給充分利用了人工神經(jīng)元之間的連接，有著更大的復(fù)雜性，看起來(lái)也更強(qiáng)大。
這是一個(gè)典型的“科學(xué)家的選擇“，工程師們對(duì)此就可能不太同意。這種帶有反饋的結(jié)構(gòu)的確可能有更強(qiáng)大的性能，但它的復(fù)雜性也增加了編程和分析的難度。在“性價(jià)比”的考量下，對(duì)工程師而言，以下的結(jié)構(gòu)（被稱為“前饋結(jié)構(gòu)”）可能更適合。
多層前饋神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)
這樣的結(jié)構(gòu)，是由幾層人工神經(jīng)元搭起來(lái)的。第一層神經(jīng)元接受輸入，最后一層神經(jīng)元輸出結(jié)果，而中間的每一層神經(jīng)元，只能接受上面一層神經(jīng)元的信號(hào)，然后將處理過(guò)的信號(hào)輸出到下一層的神經(jīng)元。因?yàn)檫@樣的層狀結(jié)構(gòu)中不會(huì)存在信號(hào)的反饋，所以這種結(jié)構(gòu)就被稱為多層前饋結(jié)構(gòu)了。
選擇這種前饋結(jié)構(gòu)的原因，自然是因?yàn)榻Y(jié)構(gòu)簡(jiǎn)單，但另一方面，它的性能是否足夠強(qiáng)大呢？答案是肯定的。從數(shù)學(xué)上可以證明，在適當(dāng)?shù)臈l件下，這種前饋結(jié)構(gòu)的人工神經(jīng)網(wǎng)絡(luò)，只要規(guī)模足夠大，就可以對(duì)任意的連續(xù)函數(shù)進(jìn)行足夠好的近似。這個(gè)能力就足以（在近似的意義上）解決現(xiàn)實(shí)中的絕大部分問(wèn)題了。
當(dāng)然，也有研究人員在對(duì)其它結(jié)構(gòu)進(jìn)行研究，也得到了一些不錯(cuò)的結(jié)果。但在目前來(lái)看，簡(jiǎn)單有效的前饋結(jié)構(gòu)在應(yīng)用中仍然是非常熱門的。
【牽引的連接】
即使選擇好了結(jié)構(gòu)，工作還遠(yuǎn)遠(yuǎn)沒有完成。我們?nèi)匀恍枰_定對(duì)于整個(gè)網(wǎng)絡(luò)至關(guān)重要的一些參數(shù)。方才提到，人工神經(jīng)元會(huì)對(duì)外部傳來(lái)的信號(hào)按照性質(zhì)和重要性進(jìn)行匯總，然后決定發(fā)出多強(qiáng)烈的信號(hào)。在這里，如何進(jìn)行信號(hào)的匯總，以及按照什么方法決定發(fā)出信號(hào)的強(qiáng)烈程度，都是需要確定的。
我們當(dāng)然希望模擬真實(shí)的神經(jīng)細(xì)胞，畢竟它是我們唯一能模仿的對(duì)象。然而，真實(shí)的神經(jīng)細(xì)胞的有關(guān)機(jī)制實(shí)在過(guò)于復(fù)雜了，我們目前仍不能窺其全貌，而且在工程學(xué)上來(lái)說(shuō)，完整模擬這樣復(fù)雜的機(jī)制也不劃算。于是，我們只能退而求其次，嘗試用盡量簡(jiǎn)單的機(jī)制來(lái)完成任務(wù)。
面對(duì)匯總的問(wèn)題，一個(gè)經(jīng)常用到的解決辦法就是加權(quán)求和。對(duì)于每一個(gè)神經(jīng)元，我們可以對(duì)每個(gè)輸入賦予一個(gè)權(quán)重，匯總時(shí)，將每個(gè)輸入的信號(hào)強(qiáng)度乘以相應(yīng)的權(quán)重，然后求和。最后得到的結(jié)果，可以看成是輸入的匯總。
接下來(lái)是決定發(fā)出多強(qiáng)烈的信號(hào)。對(duì)神經(jīng)細(xì)胞發(fā)出信號(hào)的具體機(jī)制，我們?nèi)圆皇至私?，但我們總可以假定，神?jīng)細(xì)胞發(fā)出的信號(hào)是關(guān)于接收到的信號(hào)的一個(gè)函數(shù)。類比到人工神經(jīng)元的話，我們可以認(rèn)為，人工神經(jīng)元發(fā)出的信號(hào)就是關(guān)于輸入?yún)R總的一個(gè)函數(shù)。在實(shí)際應(yīng)用中，一類經(jīng)常被用到的函數(shù)是sigmoid函數(shù)。這類函數(shù)便于計(jì)算和性能分析，而又有真實(shí)神經(jīng)元非線性的性質(zhì)。
那么，為什么我們不選擇更簡(jiǎn)單的線性函數(shù)y=ax+b呢？一個(gè)原因是，如果我們這樣做的話，由于系統(tǒng)的其它部分都是線性的，整個(gè)系統(tǒng)可以輕易簡(jiǎn)化為一個(gè)線性函數(shù)。這樣的話，我們就丟失了好不容易通過(guò)結(jié)構(gòu)和連接創(chuàng)造出來(lái)的復(fù)雜性了，而這樣簡(jiǎn)單的系統(tǒng)也不能滿足我們解決復(fù)雜問(wèn)題的需要。
現(xiàn)在，萬(wàn)事俱備只欠東風(fēng)。整個(gè)人工神經(jīng)網(wǎng)絡(luò)中，只剩下一類參數(shù)還沒有確定，那就是神經(jīng)元之間連接的權(quán)重，但這恰好也是最難解決的問(wèn)題。
我們?cè)谇懊嬖?jīng)提到一個(gè)定理：對(duì)于任意一個(gè)函數(shù)，只要我們有一個(gè)足夠大的前饋結(jié)構(gòu)的神經(jīng)網(wǎng)絡(luò)，我們都可以以任意精度來(lái)近似這個(gè)函數(shù)。這種對(duì)于任意函數(shù)的適應(yīng)性，正是來(lái)源于我們可以自由選取人工神經(jīng)元之間連接權(quán)重的這個(gè)能力。也就是說(shuō)，對(duì)于不同的問(wèn)題，我們需要選擇不同的權(quán)重組合，而這個(gè)權(quán)重組合的計(jì)算方法，并不是顯而易見的。
這個(gè)問(wèn)題，對(duì)于自然中的神經(jīng)網(wǎng)絡(luò)——也就是各種生物的腦——也是存在的。那么，自然是怎么解決這個(gè)問(wèn)題的嗎？
答案就是：通過(guò)學(xué)習(xí)。
【點(diǎn)睛的一筆】
我們的人工神經(jīng)網(wǎng)絡(luò)，在很多方面都跟一只剛出生的小狗很相似：雖然蘊(yùn)含著巨大的潛力，但一開始什么也不能做。既然我們可以訓(xùn)練小狗完成各種任務(wù)，那么，我們能不能想到一個(gè)辦法，通過(guò)“訓(xùn)練”來(lái)確定人工神經(jīng)網(wǎng)絡(luò)的權(quán)重，從而“教會(huì)”它那些我們需要它完成的任務(wù)呢？
回想一下我們是怎么訓(xùn)練小狗“坐下”的。一開始我們下“坐下”的命令的時(shí)候，小狗通常會(huì)不知所措，因?yàn)樗膊幻靼兹祟惖恼Z(yǔ)言。但偶爾它也會(huì)坐下來(lái)，這時(shí)候我們就會(huì)給它點(diǎn)好吃的或者摸摸頭作為獎(jiǎng)勵(lì)。久而久之，這種服從命令的行為就會(huì)被逐漸強(qiáng)化，最后，小狗聽到“坐下”的命令就會(huì)乖乖地坐下來(lái)。
對(duì)人工神經(jīng)網(wǎng)絡(luò)的訓(xùn)練，與訓(xùn)練小狗的方法其實(shí)相差不遠(yuǎn)：讓它面對(duì)各種可能的情況，然后根據(jù)它做出的判斷正確與否，適當(dāng)?shù)卣{(diào)整人工神經(jīng)元之間的權(quán)重。比如說(shuō)，在判斷正確時(shí)，我們可以適當(dāng)強(qiáng)化相關(guān)的人工神經(jīng)元之間的連接，而在判斷錯(cuò)誤時(shí)則弱化之。在經(jīng)過(guò)大量的重復(fù)訓(xùn)練之后，我們可以期望得到的人工神經(jīng)網(wǎng)絡(luò)能足夠好地完成我們給與的任務(wù)。
但這也引入了另一個(gè)問(wèn)題：如何根據(jù)人工神經(jīng)網(wǎng)絡(luò)輸出的結(jié)果去調(diào)整權(quán)重？對(duì)于一般結(jié)構(gòu)的神經(jīng)網(wǎng)絡(luò)來(lái)說(shuō)，方法并不是顯而易見的。幸好，對(duì)于我們考慮的多層前饋結(jié)構(gòu)來(lái)說(shuō)，我們有一個(gè)相對(duì)簡(jiǎn)單的權(quán)重調(diào)節(jié)方法，叫反向傳遞法（back-propagation）。這種方法的實(shí)質(zhì)就是找到對(duì)判斷有影響的連接，然后適當(dāng)修改它們的權(quán)值。這也是我們?cè)趹?yīng)用中更青睞多層前饋結(jié)構(gòu)的一個(gè)原因。
到這里，大部分技術(shù)上的問(wèn)題都已經(jīng)解決了。對(duì)于我們選取的多層前饋網(wǎng)絡(luò)，要訓(xùn)練它完成某項(xiàng)任務(wù)，我們先收集各種可能的情況以及應(yīng)該作出的判斷，然后根據(jù)這些數(shù)據(jù)利用反向傳遞法對(duì)人工神經(jīng)網(wǎng)絡(luò)進(jìn)行大量的訓(xùn)練，直到它的表現(xiàn)足夠好為止。這樣得到的人工神經(jīng)網(wǎng)絡(luò)，在理論上應(yīng)該就能足夠好地完成任務(wù)了。
在這個(gè)過(guò)程中，仍有一些細(xì)節(jié)是需要注意的。
訓(xùn)練開始時(shí)，我們先給人工神經(jīng)網(wǎng)絡(luò)賦予隨機(jī)的權(quán)重，避免手動(dòng)選擇權(quán)重所可能導(dǎo)致的偏差。這樣的話，最后得到的人工神經(jīng)網(wǎng)絡(luò)的表現(xiàn)就僅僅依賴于我們用于訓(xùn)練的數(shù)據(jù)了。
如果訓(xùn)練使用的數(shù)據(jù)不夠全面的話，訓(xùn)練出來(lái)的人工神經(jīng)網(wǎng)絡(luò)的可靠性也會(huì)降低。試想一下，如果一位廚師學(xué)徒，每天不停在練的都是粵菜，某天忽然讓他做個(gè)醬骨架，那可能就做得淡而無(wú)味了。人工神經(jīng)網(wǎng)絡(luò)也是一樣，要想它更好地應(yīng)對(duì)各種情況的話，訓(xùn)練時(shí)就要讓它“見識(shí)”更多不同的數(shù)據(jù)。
上面說(shuō)到的學(xué)習(xí)方法，術(shù)語(yǔ)叫有監(jiān)督學(xué)習(xí)，顧名思義就是在已經(jīng)知道正確答案的情況下進(jìn)行訓(xùn)練。實(shí)際上對(duì)于人工神經(jīng)網(wǎng)絡(luò)來(lái)說(shuō)，別的學(xué)習(xí)模式（如無(wú)監(jiān)督學(xué)習(xí)、強(qiáng)化學(xué)習(xí)）也是可以應(yīng)用的，不同的學(xué)習(xí)方法可以解決不同領(lǐng)域的任務(wù)。
最后一點(diǎn)，人工神經(jīng)網(wǎng)絡(luò)并不是萬(wàn)能的。跟我們一樣，它有時(shí)也會(huì)犯錯(cuò)。用人工神經(jīng)網(wǎng)絡(luò)解決某個(gè)問(wèn)題，實(shí)際上就是將這個(gè)問(wèn)題表達(dá)成某種統(tǒng)計(jì)的形式來(lái)簡(jiǎn)化解答，而在這個(gè)過(guò)程中不免會(huì)丟失原來(lái)問(wèn)題的信息，使得解答并非總是準(zhǔn)確。不過(guò)想到作為萬(wàn)物之靈的人類也經(jīng)常犯錯(cuò)，人工神經(jīng)網(wǎng)絡(luò)的這點(diǎn)問(wèn)題還是可以理解的。
【美妙的畫卷】
但工程師并不滿足于理論上的結(jié)果，他們是實(shí)踐主義者，僅僅是理論上的可行性并不能成為他們接受一項(xiàng)新技術(shù)的理由。打個(gè)比方，理論上來(lái)說(shuō)，每條河都有個(gè)源頭，而要找到這個(gè)源頭，只要溯河而上就可以了。殊不知當(dāng)年為了探尋尼羅河的源頭，有多少勇者敗給了沿途的險(xiǎn)惡環(huán)境而客死異鄉(xiāng)。理論可以指出一條路，但這條路具體是好是壞，還是要腳踏實(shí)地走一走才知道。
幸而人工神經(jīng)網(wǎng)絡(luò)不負(fù)眾望，在許多領(lǐng)域都有不俗的表現(xiàn)，如醫(yī)學(xué)診斷、圖像識(shí)別等。人工神經(jīng)網(wǎng)絡(luò)的靈活性，是傳統(tǒng)的計(jì)算機(jī)程序所難以比擬的。在一些需要一定靈活性的領(lǐng)域中，當(dāng)傳統(tǒng)的計(jì)算機(jī)程序難以解決問(wèn)題時(shí)，人工神經(jīng)網(wǎng)絡(luò)就能派上用場(chǎng)了。
然而，相比起自然中的神經(jīng)網(wǎng)絡(luò)，人工神經(jīng)網(wǎng)絡(luò)仍然不足掛齒。無(wú)論是在結(jié)構(gòu)還是在運(yùn)作方式上，人工神經(jīng)網(wǎng)絡(luò)都只是動(dòng)物神經(jīng)系統(tǒng)的一個(gè)極端簡(jiǎn)化的版本，在適應(yīng)性和復(fù)雜度上遠(yuǎn)遠(yuǎn)遜色于原版。但最重要的區(qū)別是規(guī)模，大自然可以將數(shù)百億計(jì)的神經(jīng)元輕易安排在我們頭骨以下那幾立方分米的空間中，而我們想要模擬這些神經(jīng)元，就必須動(dòng)用最強(qiáng)的超級(jí)計(jì)算機(jī)，而且還需要很長(zhǎng)的時(shí)間才能得到一些模糊的結(jié)果。
另一個(gè)重要的區(qū)別在于學(xué)習(xí)。我們的大腦可以輕易學(xué)習(xí)各種復(fù)雜的技能，還能根據(jù)以往的經(jīng)驗(yàn)舉一反三，但對(duì)于如此高效的學(xué)習(xí)過(guò)程，科學(xué)家仍然不清楚它的具體機(jī)理，甚至不清楚它是怎么發(fā)生的?？梢韵胂?，假以時(shí)日，當(dāng)科學(xué)家們看清楚大腦的各種機(jī)理之后，會(huì)給工程師們指引一條改進(jìn)人工神經(jīng)網(wǎng)絡(luò)的道路。
但道路的盡頭，仍然是手執(zhí)數(shù)十億年時(shí)間優(yōu)勢(shì)的自然。在如此漫長(zhǎng)的時(shí)光中，即使只有試錯(cuò)法，自然的創(chuàng)造仍然是無(wú)可比擬地美麗和強(qiáng)大。作為造物的我們，對(duì)自然各種創(chuàng)造的偉大和美妙之處的理解，才剛剛開始。
