国产一级a片免费看高清,亚洲熟女中文字幕在线视频,黄三级高清在线播放,免费黄色视频在线看

打開APP
userphoto
未登錄

開通VIP,暢享免費(fèi)電子書等14項(xiàng)超值服

開通VIP
【信息倫之父】香農(nóng):喜歡雜耍的天才,如何量化了信息呢?


Part 01:香農(nóng):天才的童年很平凡

Part 02:香農(nóng)的雙學(xué)位:數(shù)學(xué)與機(jī)械

Part 03:機(jī)器可以擁有邏輯嗎?

Part 04:香農(nóng)與布爾代數(shù)

Part 05:香農(nóng)在貝爾實(shí)驗(yàn)室

Part 06:二戰(zhàn)中的香農(nóng)

Part 07:香農(nóng)開創(chuàng)信息論

Part 08:而立之年后的香農(nóng)

Part 09:香農(nóng)的歸宿

Part 01

香農(nóng):天才的童年很平凡

20世紀(jì)是一個(gè)天才扎堆的年代,比如我們今天要講的信息論的創(chuàng)始人香農(nóng),他的全名叫克勞德·艾爾伍德·香農(nóng),于1916年4月30日出生于美國(guó)的密歇根州。

香農(nóng)的童年是十分平凡的,他有一個(gè)姐姐,是學(xué)校里的佼佼者,讀書成績(jī)不錯(cuò),經(jīng)常與弟弟一起玩猜謎游戲,這可能啟發(fā)了香農(nóng)對(duì)數(shù)學(xué)的興趣。而且,他的姐姐也是一位具有數(shù)學(xué)天賦的小姑娘。

除了在數(shù)學(xué)上的興趣,香農(nóng)的作文也寫的不錯(cuò),比如在1923年,他7歲那年寫了《可憐的男孩》,贏得了“感恩節(jié)故事大賽”三等獎(jiǎng)。

▲ 少年香農(nóng)

一條消息可能會(huì)扎了我們眾人的心,香農(nóng)在事后反思自己的教育時(shí),他說到了對(duì)數(shù)學(xué)的興趣,除了源自于姐姐玩的數(shù)字游戲,還有另一個(gè)原因,數(shù)學(xué)對(duì)他來講太容易了。

香農(nóng)喜歡科學(xué),但他討厭事實(shí),或者換句話講,他討厭那些沒有規(guī)則,不能抽象出方法的事實(shí)。如此來看,他是一個(gè)對(duì)事特別認(rèn)真的人。

香農(nóng)早期的天賦除了體現(xiàn)在對(duì)機(jī)械的敏感上,也體現(xiàn)在智力層面,比如在1930年,14歲的他報(bào)名參加了一個(gè)童子軍集會(huì),并贏得了終極搖擺通信比賽的第一名。奇葩的是,比賽的終極目標(biāo)是利用身體傳遞摩爾斯電碼,而香農(nóng)對(duì)此是游刃有余。

下次蹦迪,我去嘗試跳一個(gè)摩爾斯電碼舞。

在當(dāng)時(shí)的美國(guó),愛迪生是一個(gè)全社會(huì)都關(guān)注的偉大發(fā)明家,而愛迪生與香農(nóng)也有著共同的祖先:約翰·奧格登。

Part 02

香農(nóng)的雙學(xué)位:數(shù)學(xué)與機(jī)械

1932年,香農(nóng)申請(qǐng)了密歇根大學(xué),同年,他的姐姐從這所大學(xué)畢業(yè)。在大學(xué)里面,他修了雙學(xué)位,數(shù)學(xué)和機(jī)械,雙學(xué)位使得他在兩個(gè)領(lǐng)域都得到了學(xué)術(shù)訓(xùn)練。

數(shù)學(xué)是一個(gè)偏理論的學(xué)科,有些工程師指責(zé)數(shù)學(xué)家們是在盲目追尋抽象的理論,而有些數(shù)學(xué)家則吐槽工程師們只講求使用,心里沒追求,而香農(nóng)很好的中和了兩學(xué)科之間的特點(diǎn),為他日后的成就打下了基礎(chǔ)。

與圖靈不同的是,香農(nóng)雖然也是一個(gè)內(nèi)向靦腆的人,但他的興趣十分廣泛,他不僅加入了無線電俱樂部、數(shù)學(xué)俱樂部,甚至還跑到體操隊(duì)里去了。據(jù)香農(nóng)的一位女同學(xué)日后回憶:“他會(huì)突然笑起來,就好像在咳嗽一樣,他從沒學(xué)會(huì)如何表現(xiàn)快樂?!?/strong>

在香農(nóng)大二那年,他的父親因?yàn)橹酗L(fēng)而去世了。香農(nóng)隨后與母親發(fā)生了沖突,母子關(guān)系變得很糟糕。自那之后,香農(nóng)的寒暑假都是在叔叔家里度過的,他和母親在日后的歲月中也極少聯(lián)系。

Part 03

機(jī)器可以擁有邏輯嗎?

本科畢業(yè)后,香農(nóng)同時(shí)被美國(guó)大學(xué)優(yōu)等生榮譽(yù)學(xué)會(huì)和美國(guó)自然科學(xué)榮譽(yù)學(xué)會(huì)雙雙錄取,得到了繼續(xù)深造的機(jī)會(huì)。

當(dāng)時(shí),由于早期心理學(xué)以及生物學(xué)的發(fā)展,人們開始思考自己的大腦,在一種樂觀的情緒下,人們似乎想要?jiǎng)?chuàng)造出一種類似人大腦的機(jī)器,也就是計(jì)算機(jī),來解決一些算術(shù)問題。一個(gè)叫范內(nèi)瓦·布什的教授和他的學(xué)生們?cè)噲D解決一個(gè)古老的問題,即如何預(yù)測(cè)海洋潮汐。這看似是一個(gè)很簡(jiǎn)單的問題,但實(shí)際上相當(dāng)復(fù)雜。對(duì)于上帝來講,潮汐有自己的運(yùn)行法則,而對(duì)于人類來說,每個(gè)地方都有不同的規(guī)則。

自牛頓之后的半個(gè)多世紀(jì),數(shù)學(xué)家發(fā)現(xiàn)看起來最混亂的波動(dòng)都可能失靈,比如股票價(jià)格和潮汐變化,這表現(xiàn)為更加簡(jiǎn)單的函數(shù)總和——波型模式。它看起來就像是在不斷地重復(fù)著自身,無序中隱藏著秩序,或者說,無序正是無數(shù)即將發(fā)生的秩序事件的總和。

在追尋潮汐背后的規(guī)則時(shí),出現(xiàn)了一些天才們的發(fā)明,比如湯姆森的諧波分析儀、福特的積分器以及布什的地形追蹤器,它們相互獨(dú)立,都是為了解決某類專門問題而被設(shè)計(jì)出來的單一目標(biāo)類機(jī)器。

▲ 微分分析儀

當(dāng)時(shí)人們能夠制造出來的機(jī)器就是這種類型的機(jī)械機(jī)器,它們是由電力控制的電器開關(guān),而后日復(fù)一日地工作。

香農(nóng)本身就對(duì)機(jī)械很感興趣,他為此陷入了思考。他想到了另一種辦法,而且這種方式最終證明了,新一代計(jì)算機(jī)遠(yuǎn)比之前的更有影響力。

首先,邏輯如何像機(jī)器一樣?

之前,一名邏輯學(xué)家這樣說道:“正如材料機(jī)器是為了節(jié)省力氣,符號(hào)演算機(jī)器則是為了節(jié)省智力?!?/strong>

這也就是說,邏輯和機(jī)器一樣,是一種使力量大眾化的工具,甭管是智商卓越的人還是位于平均數(shù)的人,它都能使他們的能力倍增。

在當(dāng)時(shí),世界上只有極個(gè)別的人能夠既精通符號(hào)演算嚴(yán)格的數(shù)學(xué)邏輯,同時(shí)又擅長(zhǎng)電路設(shè)計(jì),而香農(nóng),正是這屈指可數(shù)中的一個(gè)。在他之前,似乎還沒有一個(gè)人能將兩者聯(lián)系起來。將邏輯比喻成機(jī)器是一回事,而讓機(jī)器擁有邏輯又是另一回事。

隨后,香農(nóng)在哲學(xué)課上學(xué)到了任何邏輯陳述都可以通過符號(hào)和方程式來表達(dá),而這些方程式呢,又能夠通過一系列簡(jiǎn)單的、數(shù)學(xué)式的規(guī)則解決。哪怕你對(duì)一句話不了解,你也能判斷它的對(duì)錯(cuò)。

數(shù)學(xué)就是這么一門學(xué)科,比如很多人都說數(shù)學(xué)在很大程度上是與現(xiàn)實(shí)脫鉤的,除了一些簡(jiǎn)單的小學(xué)應(yīng)用題和算算術(shù),一個(gè)人一輩子也幾乎用不到其他的數(shù)學(xué)知識(shí)。雖然這句話有失公允,因?yàn)閿?shù)學(xué)常常與金融聯(lián)系在一起,如果一個(gè)人不懂?dāng)?shù)學(xué),可能會(huì)被坑。

相比于其他學(xué)科,數(shù)學(xué)是最特立獨(dú)行的一門學(xué)科,它不是經(jīng)驗(yàn)的科學(xué),而是邏輯的科學(xué)。一個(gè)人若是沒有生活常識(shí),可能物理題就看不懂,不會(huì)做,化學(xué)也一臉懵逼,但是,只要他邏輯好,哪怕他不知道地球圍著太陽轉(zhuǎn),甚至不知道黃金的價(jià)格比白菜貴,他也能一個(gè)人在一個(gè)封閉的屋子里走進(jìn)數(shù)學(xué)的世界。

比如一些高等函數(shù),我們可能都不知道其背后的含義是什么,為什么會(huì)這樣,但只要我們邏輯好,就可以機(jī)械式地推算下去,難道,你不覺得數(shù)學(xué)是一門很神奇的學(xué)科嗎?在推算數(shù)學(xué)的時(shí)候,只要邏輯不出錯(cuò),就算結(jié)果再怎么荒謬,我們也只能接受,沒準(zhǔn)又能開創(chuàng)一個(gè)新的領(lǐng)域呢。比如歐拉當(dāng)年的調(diào)和級(jí)數(shù),得出了一個(gè)無比荒謬的結(jié)論。歐拉證明,若這個(gè)級(jí)數(shù)是收斂的,則1+2+3+4+…最終等于負(fù)的十二分之一。這樣的zeta函數(shù)催生了黎曼猜想。

數(shù)學(xué)和物理化學(xué)都不一樣,物理化學(xué)是經(jīng)驗(yàn)的科學(xué),而數(shù)學(xué),則是一門邏輯的科學(xué)。也難怪有人說,數(shù)學(xué)是上帝的語言,是宇宙的通行證。

Part 04

香農(nóng)與布爾代數(shù)

將變化莫測(cè)的語言以精確明晰的數(shù)學(xué)方式表述出來,起到關(guān)鍵作用的人是19世紀(jì)的天才喬治·布爾。話說各位程序員們耳熟吧,這個(gè)布爾就是“布爾運(yùn)算”的源頭。

布爾是一個(gè)自學(xué)成才的英國(guó)數(shù)學(xué)家,他揭示的定理都建立在基本運(yùn)算的基礎(chǔ)之上,比如,和(And)、或(Or)、非(Not)和如果(If)。

舉個(gè)例子,我們假設(shè)余襄子是一個(gè)帥哥,還是一個(gè)富豪,我們將帥哥的固有屬性定義為x,將富豪的固有屬性定義為y。除此之外,我們用乘號(hào)代表“和”,加號(hào)代表“或”,撇號(hào)代表“非”。這一切的目的都是證明“真”或“假”,因此,我們用1代表“真”,并用0代表“假”。這些就是把邏輯學(xué)轉(zhuǎn)化為數(shù)學(xué)的基礎(chǔ)。

“余襄子是一個(gè)帥哥且是一個(gè)富豪”,用數(shù)學(xué)來表示就是xy;“余襄子是一個(gè)帥哥或一個(gè)富豪”就用“x+y”表示。問題來了,如果我們要判定“余襄子是一個(gè)帥哥且是一個(gè)富豪”這一命題的真實(shí)性,它就取決于x和y的真實(shí)性。并且,布爾根據(jù)我們對(duì)x和y的理解設(shè)定了1或0的規(guī)則:

0·0=0

0·1=0

1·0=0

1·1=1

如果我們要判定“余襄子是一個(gè)帥哥或一個(gè)富豪”這一命題,我們可以得出:

0+0=0

0+1=1

1+0=1

1+1=1

從這些簡(jiǎn)單的元素里,我們就能構(gòu)建自己的方法,逐步得出更復(fù)雜的結(jié)果。

▲ 注意,在布爾運(yùn)算中,“+”不表示“和”,而是“或”

香農(nóng)隨即被布爾運(yùn)算吸引了。1937年夏天,香農(nóng)到貝爾實(shí)驗(yàn)室實(shí)習(xí)了一個(gè)暑假,在那里,他與同事的交談中,對(duì)邏輯與電路更了解了一些。秋天,香農(nóng)在美國(guó)華盛頓哥倫比亞特區(qū)向評(píng)委會(huì)演示了自己的碩士論文《繼電器和開關(guān)電路的符號(hào)分析》,并于第二年被發(fā)表,贏了了業(yè)內(nèi)的掌聲。

▲ 20世紀(jì)30年代的貝爾實(shí)驗(yàn)室

這篇對(duì)計(jì)算機(jī)和信息時(shí)代如此重要的論文,竟然是香農(nóng)的碩士畢業(yè)論文。寫下這篇神作的香農(nóng),當(dāng)時(shí)只有22歲。

在香農(nóng)的新體系中,他寫下了如下這段話:

任何電路都是由一組方程式表示的,方程式的每個(gè)部分剛好對(duì)應(yīng)了不同的繼電器和電路的開關(guān)。微積分學(xué)的發(fā)明使得我們可以用簡(jiǎn)單的數(shù)學(xué)方法操縱這些方程式,這些方法中的大部分都類似于普通的代數(shù)方法。這種微積分學(xué)被證實(shí)是,完全可以類比于邏輯符號(hào)研究中命題的推導(dǎo)方式的……然后,我們可以立刻根據(jù)這些方程式畫出電路圖。

可能一些人不懂里面的意思,我試著翻譯一下,這也就是說,在這以后,人們?cè)O(shè)計(jì)電路就不用僅憑直覺了,而是有了一套可以直觀體現(xiàn)的方程式和編寫規(guī)則構(gòu)成的科學(xué)。

香農(nóng)隨后對(duì)布爾運(yùn)算進(jìn)行了一番演算和改進(jìn),自此之后,電路設(shè)計(jì)有史以來第一次成為了一門科學(xué)。將技術(shù)變?yōu)榭茖W(xué),是香農(nóng)取得的第一個(gè)高峰,將計(jì)算機(jī)從簡(jiǎn)單的運(yùn)算工具,變成了有自己邏輯的電腦,奠定了現(xiàn)代計(jì)算機(jī)的發(fā)展方向。

同一時(shí)期,英國(guó)的計(jì)算機(jī)之父圖靈發(fā)表了一篇著名的文章,他證明了任何能被解決的數(shù)學(xué)問題原則上都可以通過機(jī)器解決。

這兩位劃時(shí)代的天才人物,都各自向前邁進(jìn)了一大步。

40年代,圖靈在前往美國(guó)的時(shí)候與香農(nóng)相遇了,當(dāng)時(shí)是二戰(zhàn)期間,兩人各自負(fù)責(zé)的項(xiàng)目都屬于國(guó)家安全機(jī)密,因此他們交談的內(nèi)容也是很隱晦的。雖然二戰(zhàn)期間美國(guó)和英國(guó)是盟友,但這種盟友之間的競(jìng)爭(zhēng)也是無處不在的,尤其是在密碼學(xué)和信息領(lǐng)域。作為昔日霸主的英國(guó),對(duì)于美國(guó)的崛起,也是十分警惕的,就像現(xiàn)在的美國(guó)警惕中國(guó)的芯片一樣。

在香農(nóng)發(fā)表那篇論文的十年之內(nèi),剛出來沒多久的微分分析儀就已經(jīng)被淘汰了,被數(shù)字計(jì)算機(jī)所取代。數(shù)字計(jì)算機(jī)的運(yùn)行速度要比微分分析儀快了千倍,而且其媒介是真空管,而不是開關(guān)。

香農(nóng)在30年代末期還進(jìn)入了遺傳學(xué)領(lǐng)域,并完成了他的遺傳學(xué)論文。但他并沒有在里面專研太久,在完成論文后就離開了該領(lǐng)域,回到了計(jì)算機(jī)世界。

當(dāng)香農(nóng)回憶起這幾年的經(jīng)歷時(shí),他說:“我做遺傳學(xué)者的那幾年過得不錯(cuò)?!?/strong>

僅此而已。

Part 05

香農(nóng)在貝爾實(shí)驗(yàn)室

1939年10月,香農(nóng)戀愛了,與一個(gè)叫諾爾瑪·萊沃爾,到了來年1月10日,兩人結(jié)婚了。結(jié)婚之后的喜悅似乎沖昏了這位年輕天才的頭腦,他在給布什的信中說道:“我沒有像你所預(yù)料的那樣娶了一位女科學(xué)家,而是娶了一位作家,她教我法語。”

不過,兩人的婚姻生活很快就進(jìn)入了矛盾期,如果說萊沃爾是張揚(yáng)且夸張,那么香農(nóng)就是沉默與自我克制。結(jié)婚一年后,倆人除了對(duì)爵士樂的熱愛外,似乎就沒有任何共同點(diǎn)了。

不過在新婚之余,香農(nóng)又在布什的幫助下獲得了國(guó)家研究獎(jiǎng)學(xué)金,并再一次受邀進(jìn)入了貝爾實(shí)驗(yàn)室。

貝爾實(shí)驗(yàn)室是一個(gè)“設(shè)想與設(shè)計(jì)未來的地方,這里曾經(jīng)期許的未來就是我們的現(xiàn)在”,創(chuàng)始人是貝爾,他是一個(gè)鼓搗發(fā)明的家伙,后來創(chuàng)立了公司。直到1925年,貝爾實(shí)驗(yàn)室才從美國(guó)電話電報(bào)公司獨(dú)立出來。在20世紀(jì),貝爾實(shí)驗(yàn)室的科學(xué)家們先后6次獲得了諾貝爾獎(jiǎng)。

▲ 貝爾實(shí)驗(yàn)室的香農(nóng)

不過沒多久,香農(nóng)就又離開了貝爾實(shí)驗(yàn)室,去了普林斯頓高等研究院。在這里,香農(nóng)認(rèn)識(shí)了另一位偉大的天才馮·諾依曼,還有從納粹德國(guó)逃出來的愛因斯坦和赫爾曼·韋爾。

關(guān)于香農(nóng)和愛因斯坦之間的故事,有些是道聽途說,不足為信,因?yàn)樗麄z研究的領(lǐng)域都不一樣,雖然當(dāng)時(shí)愛因斯坦已經(jīng)成為了科學(xué)界的一個(gè)大咖,但香農(nóng)也實(shí)在沒有必要讓一個(gè)理論物理學(xué)家來了解自己的電路與計(jì)算機(jī),愛因斯坦也沒有必要讓香農(nóng)來了解引力波。他們雖然在一個(gè)地方,平時(shí)見個(gè)面打個(gè)招呼是完全有可能的,但若是說他們有啥過多的交流和靈魂的探討,那就顯得捕風(fēng)捉影了。

不過,其中有一條故事是由香農(nóng)的朋友記載的,可信度更高一點(diǎn)。話說有一次,香農(nóng)在普林斯頓高等研究院給一群數(shù)學(xué)家上課。突然,教室的后門打開了,愛因斯坦走進(jìn)來了,站著聽了幾分鐘的課,而后與后座的一人偷偷說了幾句話,就離開了。

課程結(jié)束后,香農(nóng)找到了那個(gè)與愛因斯坦說話的人,因?yàn)橄戕r(nóng)對(duì)此也很好奇,他想知道這位偉大的科學(xué)家是不是點(diǎn)評(píng)了一下自己的工作,于是就問那人,老愛究竟說了什么,是對(duì)我的講課內(nèi)容點(diǎn)贊了呢還是踩了一腳。結(jié)果那人說:“愛因斯坦問了洗手間怎么走?!?/strong>

香農(nóng)在普林斯頓的時(shí)期,另一位偉大的物理學(xué)家費(fèi)曼正在攻克他的博士學(xué)位。

普林斯頓似乎不太符合香農(nóng)的氣質(zhì),這里聚集了很多從納粹手中逃出來的人,看上去像是自由的圣地,但實(shí)際上也是一種停滯不前的懶散。而且,香農(nóng)的婚姻也走到了盡頭,萊沃爾在結(jié)束這段婚姻后,回到了曼哈頓,一路向西,去了美國(guó)的加利福利亞州,開始了從小就夢(mèng)想的劇本創(chuàng)作事業(yè),積極入世,參與政治黨派的會(huì)議,并與好萊塢的同行結(jié)了婚。

對(duì)于圖靈與香農(nóng)這樣的天才來說,他們似乎總是與這個(gè)世界保持著一定的距離,不關(guān)心政治,也對(duì)此沒興趣。在普通人看來,他們好像是沒心沒肺,甚至“何不食肉糜”的人。

Part 06

二戰(zhàn)中的香農(nóng)

1940年9月16日,美國(guó)總統(tǒng)羅斯福簽署了《選征兵制與訓(xùn)練法》,要求所有26-35歲的美國(guó)男性公民都登記征兵。雖然當(dāng)時(shí)美國(guó)還未正式參加二戰(zhàn),但很多人都已經(jīng)預(yù)料到了,戰(zhàn)爭(zhēng)已經(jīng)不遠(yuǎn)了。

對(duì)于香農(nóng)來講,這條法案可能會(huì)終結(jié)他的研究工作,因?yàn)樗芸赡鼙慌傻胶M鈶?zhàn)場(chǎng),要是有個(gè)三長(zhǎng)兩短,他可能也就埋骨他鄉(xiāng)了。

1940年是香農(nóng)的低谷年,他十分反感這種由上而下的壓迫,就仿佛是整個(gè)人都快要窒息,他寫道:“事態(tài)發(fā)展得很快,我能夠嗅到戰(zhàn)爭(zhēng)正在逼近。于我而言,為了戰(zhàn)爭(zhēng)全身心投入工作更加安全,反對(duì)選征兵制更加安全,我壓根不明白為什么要征兵。我過去是一名意志脆弱的人,現(xiàn)在也一樣……我一直在試圖盡全力玩好游戲,但不僅如此,我想我很可能還能做出更大的貢獻(xiàn)?!?/strong>

香農(nóng)并不是一個(gè)坐以待斃的人,他求助于貝爾實(shí)驗(yàn)室的導(dǎo)師,從而避免了被當(dāng)作普通士兵,被拉上戰(zhàn)場(chǎng)的可能性,而是作為一名研究員,留在了后方國(guó)防研究委員會(huì)。香農(nóng)和其他許多那一代的數(shù)學(xué)家一樣,更愿意用自己的頭腦而不是身體為國(guó)奉獻(xiàn)。

▲ 香農(nóng)

雖然二戰(zhàn)是殘酷的,但也間接推動(dòng)了人類防御體系和通信體系的完善與發(fā)展,戰(zhàn)爭(zhēng)不僅是前線的戰(zhàn)爭(zhēng),更是后方科學(xué)家們的智力比拼。范內(nèi)瓦·布什說:“這并不是科學(xué)家的戰(zhàn)爭(zhēng),而是一場(chǎng)全民參與的戰(zhàn)爭(zhēng)。科學(xué)家們對(duì)共同目標(biāo)的追求使他們拋棄了往日的專業(yè)競(jìng)賽,最大限度地共享成果、相互借鑒?!?/strong>

香農(nóng)再一次來到了貝爾實(shí)驗(yàn)室,隨著戰(zhàn)爭(zhēng)的持續(xù),世界各地的科學(xué)家都聚在了一起,在洛斯阿拉莫斯、布萊切利園、德克斯多公園、蘭德公司以及貝爾實(shí)驗(yàn)室。

二戰(zhàn)的工作,讓香農(nóng)更深入地了解密碼學(xué),他后來意識(shí)到密碼學(xué)是一門“非常實(shí)際的學(xué)科”。據(jù)說,二戰(zhàn)中丘吉爾與羅斯福電話之間的加密,就是香農(nóng)的功勞。同時(shí),香農(nóng)認(rèn)識(shí)了另一位偉大的天才,圖靈。

1942年,圖靈跟隨英國(guó)政府發(fā)起的軍事密碼項(xiàng)目訪問團(tuán)來到了美國(guó),倆人的見面與相處并不輕松,因?yàn)樯婕暗奖澈蟮膰?guó)家機(jī)密,因此談話也總是隱晦的。

沒有人知道他倆說了什么,因?yàn)闆]有被記錄下來,但倆人之間的惺惺相惜是可以確認(rèn)無疑的。香農(nóng)如此稱贊圖靈:“我認(rèn)為圖靈有偉大的思想,他非常了不起!”

▲ 圖靈(左) 香農(nóng)(右)

由于倆人的國(guó)別身份,再加上英國(guó)與美國(guó)之間的信息保密與較量,香農(nóng)與圖靈并沒有發(fā)生過多的緊密聯(lián)系。二戰(zhàn)結(jié)束后,1950年,香農(nóng)拜訪了英國(guó),與圖靈再一次相見,這一次,也是他倆的最后一次見面。僅僅四年后,圖靈就告別了這個(gè)人世。

離開密碼學(xué)的香農(nóng),將精力用在了信息論上。

Part 07

香農(nóng)開創(chuàng)信息論

信息無處不在,當(dāng)時(shí)人們的需求就是如何準(zhǔn)確地將一個(gè)信息從一個(gè)點(diǎn)傳到另一個(gè)點(diǎn),在這之前,有必要將信息定義清楚,或者說,量化出來。

那么,信息也可以符號(hào)化嗎?

或者再問,信息的度量單位是什么?比如質(zhì)量的單位有千克、電流的單位有安培、電壓的單位有伏特,新生的科學(xué)也需要屬于它自己的計(jì)量單位,或者至少要證明人們談?wù)摰母拍钭罱K能否被數(shù)字捕捉。

香農(nóng)作為信息論的開創(chuàng)者,認(rèn)為,信息衡量了我們所克服的不確定性。它衡量了我們學(xué)習(xí)新事物的可能性,或者更具體地說,當(dāng)一件事情承載了關(guān)于其他事物信息,它所涵蓋的信息數(shù)量反應(yīng)了未知情況的減少。當(dāng)一切都充滿確定性的時(shí)候,并不能產(chǎn)生信息,因?yàn)闆]有什么可以傳達(dá)。

實(shí)際上,我們的語言就是信息的一種,但是其中夾雜了很多冗余。什么是冗余呢?

簡(jiǎn)單來理解,冗余就是“啰嗦”,就是“重復(fù)”,根據(jù)密碼史學(xué)家戴維·卡恩的解釋:“大體上,冗余是指在信息傳遞的過程中,實(shí)際傳遞的信號(hào)會(huì)超出實(shí)際需要的信號(hào)?!?/strong>

比如英語單詞中的“the”在意義上是完全多余的,換一句話說,有沒有這個(gè)詞,并不影響我們的理解,“the”的出現(xiàn)幾乎永遠(yuǎn)是出于語法的需要。(英語中的“the”特指某個(gè)東西,比如“the book is on the desk”那本特定的書在那個(gè)特定的桌子上,其實(shí)這句話可以壓縮一下“book on desk”,雖然語法上不太準(zhǔn)確,但并不影響人們的理解,甚至,再壓縮一下“bok on dsk”)

那么,這和信息有什么關(guān)系呢?

香農(nóng)認(rèn)為,最高效的消息實(shí)際上就像是一串隨機(jī)的文本,每個(gè)新符號(hào)都盡可能多地提供信息,比如下面三句話:

  1. 明天太陽從東方升起。

  2. 明天會(huì)有流星落地球。

  3. 不正而能那奧樣面商。

上面三句話,字的字?jǐn)?shù)都是一樣,請(qǐng)問,哪一句話的冗余度最多?

實(shí)際上是第一句話的冗余度最多,因?yàn)檫@就是一句廢話!你說不說都一樣,帶來不了更多的信息。

第二句話的冗余度比第一句話要少,因?yàn)榱餍锹涞降厍蛏?,是一個(gè)少見的事情,但這種事是有可能出現(xiàn)的,它帶來的信息量就比第一句話多。因?yàn)槲乙坏┞牭竭@句話,知道了這個(gè)消息,可能就會(huì)改變行為,本來我可能會(huì)在家打王者,但是得到這個(gè)消息后,我可能就帶妹紙去看流星雨落在她肩膀上、去看眼淚落在地球上。(假設(shè)這句話的前提是真實(shí)的,而不是騙人的)

而第三句話,雖然是我瞎打的,我是從手邊的一本書中隨意翻到一頁,選擇其中的一個(gè)字敲打出來的。這句話沒有什么意義,在語法上是一句病句,但其蘊(yùn)涵的信息量最多,其冗余度也是最小的,因?yàn)槔锩娴拿恳粋€(gè)字都可能帶來新信息。它所帶來的不確定性,是最大的。

可是,這樣的理解還是把握不住信息的本質(zhì),不同信息之間,是否有一個(gè)可以嫁接的橋梁呢?比如不同的商品之間可以通過金錢作為橋梁,信息之間呢?

這就輪到香農(nóng)出場(chǎng)了,他抓住了信息的本質(zhì),信息的本質(zhì)就是消除不確定性。比如一條消息,里面究竟有多大的信息量,在于它能幫你消除多少不確定性。

▲ 香農(nóng)

如何給信息定量呢?

香農(nóng)找到了二進(jìn)制數(shù)字,眾所周知,二進(jìn)制數(shù)字要么是1,要么是0,傳送一個(gè)二進(jìn)制數(shù)字,就相當(dāng)于完成了一次二選一,實(shí)現(xiàn)了一次最基本的不確定性消除過程。

這樣一個(gè)包含兩種可能的二進(jìn)制數(shù)字,也就成了度量信息的基本單位,香農(nóng)把它叫做比特,也就是BIT。關(guān)于比特的定義是這樣的:如果一個(gè)黑盒子中又A和B兩種可能性它們出現(xiàn)的概率相同,那么要搞清楚到底是A還是B,所需要的信息量就是一比特。

香農(nóng)接著定義,我們將這樣充滿不確定性的黑盒子叫做“信息源”,它里面的不確定性叫“信息熵”,信息就是用來消除這些不確定性的。因此換句話講,信息熵就是信息量。

那么問題來了,如何計(jì)算信息熵呢?公式如下:

H=-p1log1-p2logp2-p3logp3-…-pnlogpn,其中,log的底數(shù)是2。

搞不懂上面那個(gè)公式也無所謂,不影響閱讀。

那么,發(fā)送一條信息可以有多快呢?香農(nóng)表示,這取決于我們可以從中擠出多少冗余。香農(nóng)第一定理證明,每個(gè)信息源都有最大密度。也就是說,任何編碼的長(zhǎng)度都不會(huì)小于信息熵。寫成公式就是,編碼長(zhǎng)度≥信息熵(信息量)/每一個(gè)碼的信息量。當(dāng)然,最理想的狀態(tài)就是大于等于號(hào)變成等于號(hào)。

然而,在真實(shí)的世界中,信息是有噪音的,就比如如今的互聯(lián)網(wǎng)上到處充斥著各種假新聞,這些就是信息的噪音。雖然香農(nóng)的第一定理只是暫時(shí)將噪音從方程式中消除了,但還是不夠。于是有了香農(nóng)第二定理,假設(shè)了一個(gè)逼真的噪音世界。

香農(nóng)的論文先定義了信道容量的概念,即信道每秒所能精確傳輸?shù)谋忍財(cái)?shù),他證明了信道容量及其他兩種特性,也就是頻寬、或者信道所能容納的頻率范圍和信息噪之間的精確關(guān)系。公式如下:

C=B·log(1+S/N),其中,log的底數(shù)是2,且B為信道容量;S/N為信噪比,通常用分貝(dB)表示。(當(dāng)然,香農(nóng)還有第三大定理,這里就不說了)

這是香農(nóng)最偉大的發(fā)現(xiàn)。之前,人們似乎是進(jìn)了一個(gè)死胡同,認(rèn)為傳遞信息就像傳輸電力一樣,為了應(yīng)對(duì)靜電干擾而提高輸入的聲音,就像是為了減少電流在傳輸過程的損耗而增加電壓一樣。

正是因?yàn)橄戕r(nóng)第二定理的發(fā)現(xiàn),徹底革新了我們對(duì)世界的認(rèn)識(shí)。打個(gè)比方,對(duì)于噪音的解決方案,并不是我們要更大聲地說話,而在于我們?cè)鯓诱f出想表達(dá)的內(nèi)容。

接下來的問題,就是代碼問題了。香農(nóng)表示,我們必須要編寫出一種代碼,在這種代碼中,冗余就像是保護(hù)盾。

實(shí)際上,通信可以分成兩個(gè)層面,電氣層面(物理層面)和編碼層面。電氣層面的任務(wù)是,在信道中準(zhǔn)確地傳輸更多的電氣比特;而編碼層面的任務(wù)就是最大化利用比特,降低冗余,使得每一個(gè)電氣比特都填充了一個(gè)信息比特。

到了抗噪音的候時(shí),電氣面層所要做的是盡量不使0和1出現(xiàn)轉(zhuǎn)偏,但種這度難是很大的,也是有的極限。而編碼層面是則,就算氣電面層出現(xiàn)了偏轉(zhuǎn),但我收接息信的時(shí)候是還能讀出中其的思意。

對(duì),就像我上面的這段話,我故意反轉(zhuǎn)了幾個(gè)詞,但各位還是能理解其中的思意,對(duì)不對(duì)?

香農(nóng)牛逼的地方就在于,他跳過了電氣層面,直接在編碼層面解決問題,當(dāng)然,凡事是有代價(jià)的,這種代價(jià)就是犧牲了密度,增加了冗余。

之前說了冗余,好像大家以為,冗余這東西是負(fù)面的,因?yàn)檫^多的冗余就會(huì)成為信息噪,然而,冗余還是有著對(duì)信息積極的一面。

舉個(gè)例子,比如我們可以用二進(jìn)制來表示ABCD四個(gè)字母,那么就會(huì)是這樣:

A=00

B=01

C=10

D=11

這是最簡(jiǎn)便的,也是最懶的,冗余度是最低的,但也是最不安全的,為啥?因?yàn)槿绻覀冊(cè)趥鬏數(shù)倪^程中,其中一個(gè)比特稍微傳錯(cuò)了,那么整個(gè)信息就會(huì)變味。比如,傳遞A的時(shí)候,突然一個(gè)0因?yàn)橐恍┎豢煽匾蛩刈兂闪?,那接收者接收到的就不是00,而是01,就變成了B。A變成B,那可不是信息噪的問題,而是信息的意義都可能被改變了。

因此,我們可以增加信息的冗余,也就是通過增加比特來解決這個(gè)問題,比如我們可以這樣編碼:

A=00000

B=00111

C=11100

D=11011

現(xiàn)在,任何字母即便對(duì)任意比特造成了損傷,也可以被識(shí)別而不至于被理解成其他的字母。

只有出現(xiàn)了三個(gè)比特的錯(cuò)誤,一個(gè)字母才會(huì)變成另一個(gè)字母,這比之前簡(jiǎn)單的00更能抵抗噪音,也要比簡(jiǎn)單的重復(fù)更有效率,雖然其冗余度增加了。

Part 08

而立之年后的香農(nóng)

香農(nóng)是幸運(yùn)的,他并沒有像其他天才那樣英年早逝,而是在活著的時(shí)候就看到了自己一手創(chuàng)造的“信息”從一個(gè)名詞變成了一個(gè)時(shí)代的稱呼。1948年,香農(nóng)最重要的論文《通信的數(shù)學(xué)理論》在《貝爾科技系統(tǒng)期刊》上發(fā)表,后來這本書印刷成冊(cè),第一部分是香農(nóng)的論文,第二部分和第三部分是對(duì)香農(nóng)這份論文的解讀。這本書自1949年首次推出后,在頭4年里賣出了6000冊(cè),到1990年為止,它已經(jīng)被賣出了超過51000冊(cè),堪稱最暢銷的學(xué)術(shù)書之一。

1948年,香農(nóng)32歲,對(duì)于一個(gè)數(shù)學(xué)家來講,30歲之后就是灰暗的了,如果一個(gè)數(shù)學(xué)家在30歲之前都未曾有過重大的貢獻(xiàn),那他30歲之后有重大貢獻(xiàn)的可能性也幾乎為零。對(duì)于香農(nóng)來講,他又是幸運(yùn)的。

現(xiàn)在全世界每個(gè)通信工程的從業(yè)者,都在跟隨者香農(nóng)當(dāng)年的理論。

在這之后的香農(nóng),遇見了第二任妻子,她是貝爾實(shí)驗(yàn)室的一名年輕的分析員,叫貝蒂·穆爾,早年跟著母親從匈牙利移民到了美國(guó)。

▲ 貝蒂·穆爾

香農(nóng)似乎是一個(gè)想到就去做的人,倆人在1948年相識(shí),于1949年初,香農(nóng)就向美麗的穆爾求婚了。穆爾答應(yīng)了,于是他們?cè)?月22日結(jié)了婚。這是一段佳話,香農(nóng)后來的很多成就,離不開穆爾的幫助,穆爾曾說:“他的一些初稿甚至成稿,都是由我執(zhí)筆寫下來的,而非他自己的筆跡,這起初引起了人們的疑惑?!?/strong>

▲ 香農(nóng)與穆爾

隨著人們對(duì)計(jì)算機(jī)需求的暴漲,香農(nóng)也成了當(dāng)時(shí)的一位科學(xué)巨星,在聚光燈下,他很謙虛,甚至提醒人們不要把自己神話。

▲ 香農(nóng)接受采訪

香農(nóng)的生活發(fā)生了一些變化,除了癡迷于棋類游戲和16進(jìn)制游戲,他竟然玩起了雜耍。如果貝爾實(shí)驗(yàn)室里沒有人陪他下棋,他就在狹窄的過道里騎獨(dú)輪車。

▲ 騎獨(dú)輪車的香農(nóng)

人們進(jìn)入計(jì)算機(jī)時(shí)代后信心暴漲,不過也有部分人擔(dān)心,未來的計(jì)算機(jī)要是比人類還強(qiáng)大該怎么辦,香農(nóng)對(duì)此半開玩笑地說:“一旦機(jī)器打敗了我們的大師,寫出了我們的詩歌,完成了我們的數(shù)學(xué)證明,管理了我們的財(cái)產(chǎn),我們就需要做好‘滅絕’的準(zhǔn)備。這可能意味著上帝將逐步淘汰愚蠢的、熵增加的、好戰(zhàn)的人類,轉(zhuǎn)而支持更合乎邏輯的、節(jié)約能源的、友善的物種,即計(jì)算機(jī)?!?/strong>

▲ 搗鼓發(fā)明的香農(nóng)

有所成就后的香農(nóng),樂觀地認(rèn)為計(jì)算機(jī)終有一天會(huì)超過人類,而且他的興趣都落在了下棋上,并寫了論文《計(jì)算機(jī)下棋程序》。他相信,至少在國(guó)際象棋的領(lǐng)域里,電腦是具有內(nèi)在優(yōu)勢(shì)的。不過他強(qiáng)調(diào),計(jì)算機(jī)下棋有一大問題,它不能在匆忙之中進(jìn)行學(xué)習(xí)。人類可以在緊急時(shí)刻,突然靈感爆發(fā),獲得像“上帝摸了一下我的頭”的啟發(fā),從而進(jìn)行漂亮的一擊,但這對(duì)于計(jì)算機(jī)來講,是不可能的。

或者可以說,玄學(xué)是人類最后的領(lǐng)域,這里是靠邏輯吃飯的計(jì)算機(jī)怎么也進(jìn)不來的。你可以說一個(gè)人具有悟性,在某一時(shí)刻成為大神,但你不能說計(jì)算機(jī)具有悟性。人類可以跳大繩,計(jì)算機(jī)不會(huì)。

香農(nóng)的一生中獲得了諸多獎(jiǎng)項(xiàng),但他對(duì)此毫不在意,他曾在公開場(chǎng)合多次表明,自己的動(dòng)力源于興趣。在所有獎(jiǎng)項(xiàng)與榮譽(yù)中,他最珍視的是引他發(fā)笑的“雜技博士”獎(jiǎng)。是的,他非常喜歡雜耍,甚至自己也研究過不少。

▲ 玩雜耍的香農(nóng)

▲ 香農(nóng)甚至還制作了一個(gè)會(huì)拋三個(gè)球的雜耍機(jī)器人

1985年,香農(nóng)接到了一個(gè)電話,被選為第一位京都基礎(chǔ)科學(xué)獎(jiǎng)的得主,這是由億萬富翁稻盛和夫贊助的獎(jiǎng)項(xiàng)。京都獎(jiǎng)的范圍被特意擴(kuò)展到諾貝爾獎(jiǎng)所不涵蓋的領(lǐng)域,包括數(shù)學(xué)與工程學(xué)。對(duì)于香農(nóng)而言,京都獎(jiǎng)是最重要的成就,代表他職業(yè)生涯的巔峰。

▲ 圖為1967年2月6日,美國(guó)總統(tǒng)約翰遜向香農(nóng)頒發(fā)美國(guó)國(guó)家科學(xué)獎(jiǎng)獎(jiǎng)?wù)?/span>

頒獎(jiǎng)儀式上,當(dāng)他被要求發(fā)表獲獎(jiǎng)感言時(shí),他在演講開始時(shí)論述了歷史本身:

不知道日本如何教授歷史,但是我在美國(guó)讀大學(xué)的時(shí)候,大部分時(shí)間被花在學(xué)習(xí)政治領(lǐng)袖和戰(zhàn)爭(zhēng)上,包括愷撒、拿破侖和希特勒。我認(rèn)為這是非常錯(cuò)誤的。歷史上重要的人物與事件應(yīng)當(dāng)是思想家與發(fā)明家,像達(dá)爾文、牛頓、貝多芬這樣的人,他們的成就持續(xù)產(chǎn)生著積極的影響。

當(dāng)我看到香農(nóng)的這一段話,才突然發(fā)現(xiàn),這幾年自己對(duì)歷史的興趣,從之前的王侯將相逐步轉(zhuǎn)移到了各類科學(xué)家和藝術(shù)家身上。我發(fā)現(xiàn),當(dāng)你聚焦于歷史上的偉大領(lǐng)袖時(shí),你會(huì)越來越狹隘,遇到人容易爭(zhēng)吵,不是誰比誰牛逼就是誰比誰手段高明,而且容易激發(fā)你內(nèi)心的對(duì)立情緒。但是當(dāng)你轉(zhuǎn)移到科學(xué)家與藝術(shù)家,甚至哲學(xué)家身上后,你對(duì)歷史的看法會(huì)更平淡,畢竟,他們屬于全人類呀。

Part 09

香農(nóng)的歸宿

80年代,香農(nóng)出現(xiàn)了病情的征兆,記憶力衰退,是阿爾茲海默癥。一開始,他的朋友并沒有注意,因?yàn)樗某删驮谟谥庇X和分析的成果,而不在于記憶力??墒?,很快的,他竟然忘記了從雜貨店回家的路,記不住電話號(hào)碼,以及別人的姓名和長(zhǎng)相。

▲ 香農(nóng)與朋友制作了第一套可穿戴設(shè)備

疾病給香農(nóng)帶來了很大的傷害,他喪失了大部分的認(rèn)知能力,照顧他的重任就自然落到了他的妻子穆爾身上。

2001年2月24日,香農(nóng)去世,享年84歲,他的大腦捐給了阿爾茲海默癥病研究中心。

▲ 晚年時(shí)期的香農(nóng)

《紐約時(shí)報(bào)》刊登了他的訃告,他的半身像和雕像被委托雕刻。貝爾實(shí)驗(yàn)室的一座大樓重新以他的名字命名。漸漸的,香農(nóng)從大眾的視野中消失了。

有人說,如果沒有香農(nóng),可能也會(huì)有臭農(nóng)或者其他什么農(nóng)開創(chuàng)信息論,可是,這種言論未免有些想當(dāng)然。我們不否認(rèn),在那個(gè)群星璀璨的年代,時(shí)代的發(fā)展自然會(huì)催生出那個(gè)時(shí)代所需要的的發(fā)明與發(fā)現(xiàn)。計(jì)算機(jī)在當(dāng)時(shí)已經(jīng)是呼之欲出的玩意兒。無論是數(shù)學(xué)界還是物理學(xué)界,以及化學(xué)界、生物學(xué)界都在20世紀(jì)迎來了一個(gè)蓬勃發(fā)展的時(shí)代,這也是18世紀(jì)、19世紀(jì)就打下的基礎(chǔ),但像香農(nóng)這樣在年輕的時(shí)候就取得重大成就的,在計(jì)算機(jī)領(lǐng)域和電路領(lǐng)域都有所突破的,也不是一般人能做得出來的。

香農(nóng)經(jīng)常將一句話掛在嘴邊“我的動(dòng)力就是興趣”,他本科和研究生都獲得了雙學(xué)位,數(shù)學(xué)和機(jī)械,在當(dāng)時(shí),都精通這兩門學(xué)科的人是鳳毛麟角,而如果沒有對(duì)這兩門學(xué)科扎實(shí)的基礎(chǔ),香農(nóng)是不可能在計(jì)算機(jī)領(lǐng)域有所突破的。

香農(nóng)有著孩童般的好奇,以及美國(guó)小鎮(zhèn)青年的務(wù)實(shí),這兩個(gè)特性也是一個(gè)優(yōu)秀的科學(xué)家所不可或缺的。如今看下美國(guó),啊,務(wù)虛風(fēng)氣盛行,幾乎每個(gè)人都在一陣喧囂與浮躁的環(huán)境中撈錢。踏踏實(shí)實(shí),實(shí)事求是的人就像精通數(shù)學(xué)與機(jī)械的人才一樣鳳毛麟角。

這可能是我回顧香農(nóng),最深刻的感受。

本站僅提供存儲(chǔ)服務(wù),所有內(nèi)容均由用戶發(fā)布,如發(fā)現(xiàn)有害或侵權(quán)內(nèi)容,請(qǐng)點(diǎn)擊舉報(bào)
打開APP,閱讀全文并永久保存 查看更多類似文章
猜你喜歡
類似文章
生活服務(wù)
綁定賬號(hào)成功
后續(xù)可登錄賬號(hào)暢享VIP特權(quán)!
如果VIP功能使用有故障,
可點(diǎn)擊這里聯(lián)系客服!

聯(lián)系客服