克勞德·艾爾伍德·香農(nóng)（Claude Elwood Shannon ），1916年4月30日—2001年2月26日。
香農(nóng)是信息論和人工智能的奠基人，他的研究成果深遠(yuǎn)的影響著這個(gè)時(shí)代，他謙遜的品格也鼓舞著后來(lái)人不斷進(jìn)取，這是一個(gè)值得被人銘記的名字，正因?yàn)樾畔⒌膫鞑ゴ蚱屏藭r(shí)空的限制，像空氣和水一樣廉價(jià)，如果世人傳頌我的故事，讓他們說(shuō)，我曾與英雄同在，我活在信息時(shí)代。
1943年，第二次世界大戰(zhàn)正使全世界處于動(dòng)蕩不安之中，同時(shí)也是全球精英突破各種困難之時(shí)，克勞德·香農(nóng)和阿蘭·圖靈正是在這階段認(rèn)識(shí)的，他們?cè)谘芯咳绾纹谱g軸心國(guó)的加密信息。他們?cè)谪悹枌?shí)驗(yàn)室餐廳共進(jìn)午餐，他們都相信機(jī)器可以被賦予思考的力量。雙方的討論會(huì)很激烈，香農(nóng)提議將有“文化的東西”灌入電子的大腦中，圖靈則說(shuō)“不，我對(duì)建造一顆強(qiáng)大的大腦不感興趣，我只想要一顆普通的大腦。”，這些聊天讓人目瞪口呆，機(jī)器能被賦予智能么？
香農(nóng)在研究密碼學(xué)時(shí)，發(fā)現(xiàn)任何語(yǔ)言都有一定的統(tǒng)計(jì)結(jié)構(gòu)和冗余。比如，在一篇文章中，去掉某些詞，并不影響這篇文章包含的信息。香農(nóng)估計(jì)，英語(yǔ)的冗余度是百分之五十。隨著研究的深入，香農(nóng)對(duì)“信息論”的存在逐漸清晰，他興奮的說(shuō)：“對(duì)于信息論的研究而言，與信息的‘意義’基本無(wú)關(guān)”。1948年，香農(nóng)發(fā)表了《通信的數(shù)學(xué)理論》，揭示出：信息的意義不是在語(yǔ)義上衡量的，而是數(shù)學(xué)上的。簡(jiǎn)單的說(shuō)，一些信息出現(xiàn)的可能性大或者一些信息更重要，這樣的說(shuō)法都是建立在概率基礎(chǔ)上的。香農(nóng)又通過(guò)數(shù)學(xué)方法定義了信息熵、信道容量等概念，到20世紀(jì)60年代，信息論發(fā)展成為了關(guān)于信息、信息傳輸和信息處理的新學(xué)科。
1949年夏的一天，香農(nóng)用鉛筆在活頁(yè)紙上自上而下而下的畫(huà)了一條豎線(xiàn)，并在旁邊寫(xiě)下了10的冪，從100 到1013 。他將坐標(biāo)軸命名為“比特存儲(chǔ)容量”。然后他開(kāi)始列舉一些可以?xún)?chǔ)存的東西，在103 下，香農(nóng)寫(xiě)下了打孔卡片，在104 處，他寫(xiě)下了“單行距打字頁(yè)面”(有32種可能)，在105 附近，他寫(xiě)下了不同尋常的東西：“人類(lèi)的基因構(gòu)成”，這種科學(xué)思考可謂史無(wú)前例，因?yàn)槿祟?lèi)的DNA結(jié)構(gòu)要等上幾年才會(huì)被提出，香農(nóng)還是猜的太保守了，起碼低了四個(gè)數(shù)量級(jí)。在107 的級(jí)別上，是一本厚厚的《無(wú)線(xiàn)電工程師學(xué)會(huì)學(xué)報(bào)》，在 109級(jí)別，則是《不列顛百科全書(shū)》，1011比特是一小時(shí)的電視節(jié)目，而一小時(shí)的彩色電影，就要超過(guò)1013比特了。最后，就在下1014，香農(nóng)寫(xiě)下了他所能想象的最大信息量：美國(guó)國(guó)會(huì)圖書(shū)館。
香農(nóng)的活頁(yè)紙
1951年，香農(nóng)則展示了一個(gè)機(jī)器人，盡管它不聰明，外表也不像人，但是它給觀(guān)眾留下了深刻印象，因?yàn)樗軐W(xué)會(huì)走迷宮，他們稱(chēng)它為“香農(nóng)的老鼠”。
香農(nóng)的老鼠
這些看起來(lái)有點(diǎn)不可思議，尤其是香農(nóng)的老鼠，它具有學(xué)習(xí)的能力，不同于以往人類(lèi)發(fā)明的其它機(jī)器。這些具有開(kāi)創(chuàng)性的工作，是如何完成的？香農(nóng)和其他信息論的先驅(qū)們到底是怎么開(kāi)創(chuàng)了一個(gè)基礎(chǔ)學(xué)科的？
熵
熵的概念，最早起源于物理學(xué)，用于度量熱力學(xué)系統(tǒng)的無(wú)序程度，1865年，熱力學(xué)的主要奠基人魯?shù)婪蚴紫仁褂昧嗽撛~，他發(fā)現(xiàn)了一種量，這種量與能量無(wú)關(guān)，他就稱(chēng)之為“熵”。1877年， 玻爾茲曼用下面的關(guān)系式來(lái)表示系統(tǒng) 無(wú)序性的大?。篠∝lnΩ。1900年， 普朗克引進(jìn)了比例系數(shù)k，將上式寫(xiě)為S=klnΩ。該公式后來(lái)刻在玻爾茲曼的墓碑上，這就是第九個(gè)表彰的公式——玻爾茲曼公式。k為玻爾茲曼常量，S是宏觀(guān)系統(tǒng)熵值，是 分子運(yùn)動(dòng)或排列混亂程度的衡量尺度。Ω是可能的微觀(guān)態(tài)數(shù)。Ω越大，系統(tǒng)就越混亂 無(wú)序。由此看出熵的微觀(guān)意義：熵是系統(tǒng)內(nèi) 分子熱運(yùn)動(dòng)無(wú)序性的一種量度。
香農(nóng)首先將熵用于描述信息的不確定性，因?yàn)闊o(wú)序程度和不確定性，其背后都帶有隨機(jī)分布的特點(diǎn)，熵的計(jì)算被定義為：
其中，X代表一個(gè)離散型隨機(jī)變量, p(x)為其概率分布函數(shù)。當(dāng)對(duì)數(shù)函數(shù)以2為底時(shí)，熵的單位是比特。熵的大小不取決于X的實(shí)際值，而僅依賴(lài)其概率分布。這個(gè)公式也被稱(chēng)為香農(nóng)熵。
當(dāng)有多個(gè)隨機(jī)變量表示多個(gè)關(guān)聯(lián)的事件時(shí)，事件之間相互影響。
以上三個(gè)公式分別是兩個(gè)隨機(jī)變量(X,Y)的聯(lián)合熵，條件熵和互信息，其證明過(guò)程采用香農(nóng)熵、聯(lián)合概率分布函數(shù)，鏈?zhǔn)椒▌t。我們使用互信息來(lái)衡量不同事件空間，兩個(gè)信息的相關(guān)性。熵與互信息存在關(guān)系，通俗的說(shuō)，任何新信息的增加，都不會(huì)使得原有信息的熵增加。就像我們玩德州撲克，不管你的表情如何改變，只要做了改變，都會(huì)被精明的玩家窺探到你手中的牌怎么樣，因?yàn)槟阍黾恿诵畔?，在牌局中，那些面無(wú)表情的人是最可怕的，一些人還會(huì)帶著帽子、墨鏡來(lái)掩飾自己的情緒。另外一個(gè)例子，偉大的發(fā)明和公司，往往是使熵降低的，比如互聯(lián)網(wǎng)搜索引擎使人們獲取信息的成本很低，從而解決了信息的不對(duì)稱(chēng)，有利于階層之間的流動(dòng)，使熵降低。
熵與互信息的關(guān)系
香農(nóng)的通信系統(tǒng)模型
下圖是香農(nóng)提出的通信系統(tǒng)模型。
香農(nóng)模型
信源是發(fā)送信息的主體，信宿是接收者，信道是信息傳送的通道，編碼泛指將信源的信息轉(zhuǎn)換成適合通過(guò)信道傳送的信號(hào)的設(shè)備，譯碼是編碼的相反的設(shè)備。信道可以分為兩大類(lèi)：有線(xiàn)信道和無(wú)線(xiàn)信道。有線(xiàn)信道包括光纖、電纜等沿導(dǎo)線(xiàn)的電磁波傳遞介質(zhì)，無(wú)線(xiàn)信道則是依賴(lài)于自由空間來(lái)傳遞電磁波。此外，信道也可以分為有無(wú)記憶、連續(xù)還是離散等方式。信號(hào)在通過(guò)信道時(shí)，會(huì)有延時(shí)，還有伴有固定或時(shí)變的損耗，在通信系統(tǒng)中，這部分信道被成為干擾。干擾的來(lái)源可能是人為、自然和設(shè)備內(nèi)部。
信道容量是指該信道中，每個(gè)字符平均能傳送的最大信息量，信道容量等于輸入與輸出的互信息的最大可能值。
信道容量
在通信系統(tǒng)中，信息需要編解碼，然后在信道中傳輸，香農(nóng)信道編碼定理，描述了信息傳輸速率與信道容量的關(guān)系：如果信源的信息速率小于信道容量，那么則存在一種編碼方式，能保證發(fā)送信息的誤差任意小。也就是說(shuō)，通過(guò)不可靠的信道，實(shí)現(xiàn)可靠的信息傳輸。在人們不具備更好的信道的條件下，如何將現(xiàn)有信道發(fā)揮到最大的利用價(jià)值，香農(nóng)給出了一個(gè)極限。在香農(nóng)以前，在這個(gè)問(wèn)題上，物理學(xué)家和數(shù)學(xué)家總是聊不到一起，直到香農(nóng)的三大定理給大家一個(gè)評(píng)價(jià)標(biāo)準(zhǔn)。有趣的是，當(dāng)時(shí)香農(nóng)并沒(méi)有給出這個(gè)結(jié)論的證明，這個(gè)證明直到后來(lái)才被人推導(dǎo)出來(lái)。近些年來(lái)，信道編碼取得重要進(jìn)展，已經(jīng)實(shí)現(xiàn)了無(wú)誤差編碼方式。
最大熵模型
在信息論中，熵是用來(lái)度量信息的不確定程度的，熵增定律說(shuō)明了一個(gè)孤立系統(tǒng)有朝著熵增的方向發(fā)展的趨勢(shì)，進(jìn)而呈現(xiàn)出一種最無(wú)序的、最不確定的狀態(tài)。最大熵就是使系統(tǒng)處于熵最大的狀態(tài) - 滿(mǎn)足已有事件，無(wú)偏的對(duì)待不確定事件，即對(duì)未確定的事件，認(rèn)為是等概率出現(xiàn)的。最大熵原理即是認(rèn)為，在統(tǒng)計(jì)學(xué)習(xí)里，所有的模型中，熵最大的模型是最好的模型。
最大熵原理對(duì)目前機(jī)器學(xué)習(xí)的優(yōu)化算法而言是舉足輕重的，是訓(xùn)練人工神經(jīng)網(wǎng)絡(luò)的指導(dǎo)思想。
最大熵模型求解過(guò)程
因?yàn)樾畔⑻幚砗托畔鬏?，就像是一枚硬幣的兩面，這枚硬幣就是“信息”。以上公式看起來(lái)繁瑣，實(shí)際上，對(duì)于一個(gè)給定了數(shù)據(jù)集的機(jī)器學(xué)習(xí)任務(wù)，就是構(gòu)建特征f，然后，使用凸優(yōu)化方法求極值。對(duì)于一個(gè)有等式約束的優(yōu)化問(wèn)題，使用拉格朗日乘子法，對(duì)上式中各變量求導(dǎo)數(shù)，然后令各方程為0，并組成方程組，然后對(duì)方程組求解。
信息論與人工智能
越是深入的了解前人的工作，越能感受到，信息論和人工智能源起一處，我們可以很容易的將二者聯(lián)系起來(lái)，比如機(jī)器學(xué)習(xí)的模型充當(dāng)了信息論中的編譯碼器的角色，引入信息論中的哈夫曼編碼的算法可以加快網(wǎng)絡(luò)的訓(xùn)練速度，使用最大熵或交叉熵構(gòu)造機(jī)器學(xué)習(xí)的代價(jià)函數(shù)，對(duì)抗網(wǎng)絡(luò)很類(lèi)似于信息論中的信道均衡的抽頭系數(shù)的訓(xùn)練 --- 通信的成功應(yīng)用正在讓人工智能快速成長(zhǎng)。
香農(nóng)在成功面前是虛懷若谷的，在20世紀(jì)五十年代，香農(nóng)一邊從事火控系統(tǒng)和密碼學(xué)方面的工作，一邊苦苦思考他對(duì)信息的設(shè)想，他獨(dú)自一人住在紐約格林尼治村的公寓里，與同事幾乎沒(méi)有交往，因?yàn)樗麄兌及岬搅诵聺晌鞯男驴偛?，而他卻選擇留在西街的舊辦公樓，他不需要向別人解釋自己在干什么，畢竟他從事的是戰(zhàn)爭(zhēng)工作，有時(shí)候，他會(huì)去辦公樓對(duì)面的微波研究組閑逛，并且在那里認(rèn)識(shí)了貝蒂·摩爾，1948年，兩人開(kāi)始約會(huì)，隨后在1949年初結(jié)婚，也就是在那個(gè)時(shí)候，他成為了人人都在談?wù)摰目茖W(xué)家。
香農(nóng)談?wù)摴ぷ?/p>
香農(nóng)是一個(gè)可以與牛頓、愛(ài)因斯坦、特斯拉等科學(xué)偉人相提并論的非凡人物。我們看不到那些被歷史遮蓋的事實(shí)，他有沒(méi)有低谷的時(shí)候，他克服困難后的喜悅，但是我相信，他被周?chē)娜藧?ài)著，也在努力愛(ài)這個(gè)世界，他堅(jiān)持自己的事業(yè)，追求科學(xué)的樂(lè)趣，真正以謙遜的態(tài)度看待自己的成功。
今天，我們工作是后香農(nóng)時(shí)代的人工智能單元，我們感謝他的貢獻(xiàn)，
高通聯(lián)合創(chuàng)始人維特比先生談香農(nóng)
概率的本質(zhì)不是自然的隨機(jī)，而是人類(lèi)的無(wú)知。希爾伯特說(shuō)過(guò)一句名言：我們必須知道，我們必將知道。如果世人傳頌我的故事，讓他們說(shuō)，我曾與英雄同在。
