中科院物理所官方賬號。愛上物理，改變世界。1小時前
有了這位孤獨的天才的突破性工作，如今的信息時代才成為了可能
01
香農(nóng)其人
科學(xué)尋求自然的基本定律，數(shù)學(xué)則在舊基礎(chǔ)上構(gòu)造新的定理，而工程學(xué)建造系統(tǒng)來解決人類的需求。這三個學(xué)科相互依存，但又截然不同。同時為這三個領(lǐng)域做出核心貢獻的人極為罕見，而克勞德·香農(nóng)就是如此。
香農(nóng)是紀(jì)錄片《The
Bit
Player》的主題，其研究工作和研究哲學(xué)深深啟發(fā)了筆者的事業(yè)。盡管如此，無論是生前還是在2001年去世之后，香農(nóng)并不是一個像愛因斯坦一樣家喻戶曉的人物，他不像費曼那樣出名，也從未獲得過諾貝爾獎。然而，香農(nóng)70多年前的一份開創(chuàng)性論文，奠定了整個現(xiàn)代通信設(shè)施的基礎(chǔ)。沒有他，就沒有如今的信息時代。
紀(jì)錄片《The Bit Player》
香農(nóng)于1916年出生于密歇根州的蓋洛德，是一位本地商人和一位教師的兒子。他在密歇根大學(xué)獲得了電氣工程和數(shù)學(xué)學(xué)位，之后，在麻省理工學(xué)院撰寫了一篇碩士論文，將布爾代數(shù)應(yīng)用于開關(guān)電路的分析和綜合。這項變革性的工作，將電路設(shè)計從一門藝術(shù)變成了一門科學(xué)，如今這被認為是數(shù)字電路設(shè)計的起點。
克勞德·香農(nóng)撰寫的碩士論文，突破性地開創(chuàng)了數(shù)字電路設(shè)計這一領(lǐng)域，十年后，他撰寫了有關(guān)信息論的開創(chuàng)性論文《通信的數(shù)學(xué)理論》
接下來，香農(nóng)將目光投向了一個更大的目標(biāo)：通信。
02
向通信進發(fā)
通信是人類最基本的需求之一。從煙霧信號到信鴿，再到電話、電視，人類一直在尋找更遠、更快、更可靠的通信方法。但是，通信系統(tǒng)的工程問題總是逃不開各種發(fā)射源和傳輸介質(zhì)。
香農(nóng)卻問了一個沒人問過的問題：“是否有一個偉大的統(tǒng)一理論來描述通信？”1939年，香農(nóng)在給導(dǎo)師范尼瓦爾·布什的信中，概述了他的一些關(guān)于“用于情報傳遞的通用系統(tǒng)的基本特性”的初步想法。經(jīng)過十年的研究，香農(nóng)終于在1948年發(fā)表了他的大師之作：《通信的數(shù)學(xué)理論》。
香農(nóng)的理論的核心，是一個簡單卻非常通用的通信模型：發(fā)送器將信息編碼為信號，該信號會被噪聲破壞，然后由接收器解碼。模型很簡單，卻有兩個關(guān)鍵見解：
1.信息源和噪聲源獨立于要設(shè)計的通信系統(tǒng)；
2.對這兩個源進行概率建模。他設(shè)想源生成許多可能的信息，每條信息都有一定的概率。概率噪聲進一步增加了接收器所解碼的隨機性。
在香農(nóng)之前，通信問題主要被視為決定論的信號重建問題：信號經(jīng)介質(zhì)傳播后發(fā)生變形，如何處理接收信號，能夠盡可能準(zhǔn)確地復(fù)現(xiàn)原始信號？香農(nóng)的天才在于他意識到：溝通的關(guān)鍵是不確定性。畢竟，如果我要講述的內(nèi)容您提前就知道，我還寫它做什么呢？
香農(nóng)的通信模型示意圖，摘自他的論文
就是這一見解，將通信問題從實體轉(zhuǎn)為抽象，從而使香農(nóng)可以使用概率對不確定性進行建模。這極大地震驚了當(dāng)時的通信工程師。
03
信息論到底在講什么
建立起有關(guān)“不確定性和概率”的理論框架之后，香農(nóng)開始著手他里程碑式的論文，并系統(tǒng)地確定了通信的基本極限。他的回答分為三個部分。在每個部分中，“bit（比特）”的概念都扮演著重要角色，香農(nóng)將其用作不確定性的基本單位?！癰it”是“binary digit（二進制數(shù)字）”的合成詞，bit可以是1或0，香農(nóng)的論文首先使用了該詞（盡管他說數(shù)學(xué)家John Tukey在備忘錄中首先使用了它）。
首先，香農(nóng)提出了一個公式來計算每秒鐘至少需要多少個bit來傳輸一條信息，并將這個數(shù)字稱作熵率（entropy rate）H。熵率H表示發(fā)送者發(fā)送信息的不確定性，熵率越低，不確定性越小，因此越容易將消息壓縮得更短。例如，以每分鐘100個英文字母的速率發(fā)送短信意味著每分鐘發(fā)送 26100 條可能的消息，每條消息都是100個字母組成的序列。用470個比特就可以編碼所有可能，因為 2470≈
26100。如果每種序列都具有相同的可能性，那么香農(nóng)公式將表明熵率H確實是470
bits/分鐘。實際上，某些序列比其他序列更有可能出現(xiàn)，熵率低得多，可以進行更大程度的壓縮。
其次，香農(nóng)提出了一個公式，來計算系統(tǒng)在噪聲存在情況下的最大傳輸容量，他稱之為系統(tǒng)容量（system’s capacity），C。這是接收器能夠?qū)魉偷男畔⑦M行解碼的最大速率，也代表了通信的速度極限。
最后，他證明了對于發(fā)出的信息受到噪聲干擾的情況，只有當(dāng)H 。信息就像水一樣，流量小于管道容量時，才可安全流過。
雖然這是一種通信理論，但同時也是一種有關(guān)信息如何產(chǎn)生和傳遞的理論——信息論。因此，現(xiàn)在香農(nóng)被稱作“信息論之父”。
他的定理得出了一些與直覺相反的結(jié)論。假設(shè)您在嘈雜的地方講話。確保您的消息通過的最佳方法是什么？也許是一遍又一遍地重復(fù)？這可能是大多數(shù)人的本能，但事實證明這樣做效率并不高。當(dāng)然，重復(fù)的次數(shù)越多，溝通越可靠，但這是犧牲速度來換取可靠性。香農(nóng)告訴我們，我們可以做得遠遠比這更好。重復(fù)消息是使用代碼傳輸消息的一個例子，而使用不同的、更復(fù)雜的代碼，可以在保持一定可靠性的同時，更快速地通信——一直到速度極限C。
香農(nóng)站在一箱電子元件前 香農(nóng)也有愛玩的一面，他經(jīng)常將這一面帶到他的工作中。這是香農(nóng)和他為一只名為特修斯的電子老鼠建造的迷宮的合影
香農(nóng)理論的另一個出乎意料的結(jié)論是，無論信息的性質(zhì)是什么，無論是莎士比亞十四行詩，貝多芬第五交響曲的錄音還是黑澤明的電影，在進行傳輸之前，將其編碼為比特一定是最有效率的。因此，例如在無線電系統(tǒng)中，即使初始的聲音和在空中傳播的電磁信號都是模擬波形，基于香農(nóng)定理，最好也要先將聲波數(shù)字化為比特，然后再將這些比特映射為電磁波。這一令人驚訝的結(jié)果是現(xiàn)代數(shù)字信息時代的基石，在這個時代，比特已成為信息的“通用貨幣”。
04
跨界的天才
香農(nóng)的通信理論是如此自然，他似乎是發(fā)現(xiàn)了，而不是發(fā)明了宇宙的信息傳播定律。他的理論與大自然的物理定律一樣基礎(chǔ)。從這個意義上說，他是一位科學(xué)家。
香農(nóng)發(fā)明了新的數(shù)學(xué)來描述通信定律。他首次引入的概念，例如概率模型的熵率，已經(jīng)應(yīng)用到廣泛的數(shù)學(xué)分支的研究中，例如遍歷理論（ergodic theory）（動力學(xué)系統(tǒng)的長期行為的研究）。從這個意義上說，香農(nóng)是一個數(shù)學(xué)家。
但最重要的是，香農(nóng)是一名工程師。他的理論是受到了實際工程問題的啟發(fā)。盡管對當(dāng)時的工程師來說，這些理論深奧難懂，但現(xiàn)已成為了所有現(xiàn)代（光學(xué)，水下，甚至星際）通信系統(tǒng)的基礎(chǔ)標(biāo)準(zhǔn)框架。就個人而言，我很幸運地參與了一個全球范圍的，將香農(nóng)的理論應(yīng)用和擴展到無線通信的事業(yè)，在多代標(biāo)準(zhǔn)中將通信速度提高了兩個數(shù)量級。確實，當(dāng)前推出的5G標(biāo)準(zhǔn)使用的不是一種而是兩種實用的代碼，它們都達到了香農(nóng)的速度極限。
克勞德·香農(nóng)在看一張土星照片
香農(nóng)在70多年前就為所有這一切奠定了基礎(chǔ)。他是怎么做到的？通過鍥而不舍地專注于問題的基本特征，而忽略所有其他方面。他的交流模型的簡單性就是這種風(fēng)格的很好例證。他還知道要專注于可能的事情，而不是立即可行的事情。
香農(nóng)制作的一輛黃色的遙控巴士。盡管香農(nóng)在2001年去世了，但他的遺產(chǎn)仍然存在于構(gòu)成我們現(xiàn)代世界的技術(shù)和他創(chuàng)造的設(shè)備（如這種遙控巴士）中
香農(nóng)的作品說明了頂級科學(xué)的真正作用。當(dāng)我開始讀研究生時，我的導(dǎo)師告訴我，最好的工作往往是在修剪知識樹，而不是發(fā)展知識樹。那時候我無法理解這句話。我一直認為，研究人員應(yīng)當(dāng)追求的是添加自己的樹枝。后來我有機會在自己的工作中運用了這種哲學(xué)，我才開始理解。
當(dāng)香農(nóng)開始研究傳播時，工程師已經(jīng)掌握了大量技術(shù)。正是他的工作將所有技術(shù)統(tǒng)一起來，將這些知識的枝條修剪成了一棵富有邏輯、一以貫之的、可愛的樹，這棵樹為幾代科學(xué)家，數(shù)學(xué)家和工程師結(jié)出了累累碩果。
作者：David Tse
翻譯：xux
審校：Dannis
原文鏈接：
https://www.quantamagazine.org/how-claude-shannons-information-theory-invented-the-future-20201222/
