之前的研究表明，還原并非總是好的科學(xué)策略，一些情況下，降維可以增加系統(tǒng)元素之間的依賴性，使得粗?；暮暧^尺度比底層微觀尺度攜帶更多有效信息，這種現(xiàn)象被稱為“因果涌現(xiàn)”。因果涌現(xiàn)理論的提出者 Erik Hoel 和同事在2022年5月發(fā)表的最新論文「作為信息轉(zhuǎn)換的涌現(xiàn)：一個(gè)統(tǒng)一理論」中，提出了一個(gè)基于信息轉(zhuǎn)換的關(guān)于涌現(xiàn)的數(shù)學(xué)框架，證明粗?；梢詫⑿畔囊环N“類型”轉(zhuǎn)換為另一種。從這個(gè)視角而言，從微觀到宏觀的因果涌現(xiàn)可以理解為，因果無(wú)關(guān)信息到因果相關(guān)信息的轉(zhuǎn)換。本論文收錄于 The Philosophical Transactions of the Royal Society A 2022年5月的主題特刊“復(fù)雜物理和社會(huì)技術(shù)系統(tǒng)中的涌現(xiàn)現(xiàn)象：從細(xì)胞到社會(huì)”。
研究領(lǐng)域：因果涌現(xiàn)，因果關(guān)系，因果量化
論文題目：
Emergence as the conversion of information: a unifying theory
論文地址：
https://royalsocietypublishing.org/doi/full/10.1098/rsta.2021.0150
還原論是科學(xué)中的經(jīng)典原理。與此同時(shí)，科學(xué)本身形成了多樣的樹(shù)狀結(jié)構(gòu)，包含不同時(shí)空尺度的元素，如量子物理中的波、化學(xué)中的分子、生物學(xué)中的細(xì)胞，一直到宏觀經(jīng)濟(jì)學(xué)和社會(huì)學(xué)。另一方面，宏觀尺度的描述，如細(xì)胞的生物物理模型、計(jì)算機(jī)中的機(jī)器代碼或食物網(wǎng)中的生物體，通常被認(rèn)為是反映了功能的某種內(nèi)在尺度，不能通過(guò)還原來(lái)改進(jìn)。這導(dǎo)致了科學(xué)的理論與實(shí)踐之間存在矛盾。
解決這一矛盾的一個(gè)辦法是還原論的“零假設(shè)”：所有宏觀描述是某種形式的降維（如粗?；?/span>，僅在計(jì)算約束下有用。根據(jù)這個(gè)假設(shè)，這是因?yàn)榈讓拥奈⒂^尺度包含所有信息，信息壓縮只是為了在宏觀層面上分析和理解系統(tǒng)。對(duì)于給定信息源，信息壓縮可能是無(wú)損的或有損的，但永遠(yuǎn)不可能導(dǎo)致總體的信息增加。既然在宏觀尺度上總體信息不可能增加，那是否意味著宏觀尺度不能在微觀尺度之外提供更多東西呢？
因果涌現(xiàn)理論從信息論視角對(duì)系統(tǒng)的不同尺度進(jìn)行了明確比較，該理論認(rèn)為，宏觀尺度的因果關(guān)系可能比微觀尺度更強(qiáng)（比如做更多功、更有預(yù)測(cè)性、信息量更大）?？偟膩?lái)說(shuō)，因果涌現(xiàn)理論的觀點(diǎn)是，由于宏觀狀態(tài)更具有確定性、更不簡(jiǎn)并，它們做了最多功來(lái)選擇輸出，有效信息可以識(shí)別功在哪個(gè)時(shí)空尺度最大化，使得功最大化的尺度就是最具因果關(guān)系的尺度，無(wú)論是宏觀還是微觀。（參看《量化因果涌現(xiàn)表明：宏觀可以戰(zhàn)勝微觀》）
信息不可能憑空產(chǎn)生。系統(tǒng)整體的信息，無(wú)論是用系統(tǒng)狀態(tài)的熵、描述總體相關(guān)性的互信息來(lái)度量，在宏觀尺度上永遠(yuǎn)不可能增加。然而，信息可以從一種類型轉(zhuǎn)換為另一種類型，除了尺度不同外沒(méi)有其他變化，這意味著在宏觀尺度特定類型的信息可能增加。從這個(gè)角度而言，可以認(rèn)為因果涌現(xiàn)是一種更高尺度的信息轉(zhuǎn)換（information conversion），在宏觀尺度，因果相關(guān)的信息增加。
本文試圖用互信息證明跨尺度的信息轉(zhuǎn)換。以布爾網(wǎng)絡(luò)為例，其過(guò)去和未來(lái)狀態(tài)之間的互信息在宏觀尺度上只會(huì)減少或保持不變，通過(guò)將信息分解為部分信息原子（PI atoms），可以看到整體信息在系統(tǒng)的所有元素上如何分布。研究表明，經(jīng)過(guò)粗粒化，微觀尺度的冗余信息可以轉(zhuǎn)換為宏觀尺度的協(xié)同信息，即使在沒(méi)有互信息丟失的情況下，這種效應(yīng)也存在。
布爾網(wǎng)絡(luò)（Boolean network）是復(fù)雜系統(tǒng)科學(xué)中的一個(gè)典型模型。在布爾網(wǎng)絡(luò)中，隨著時(shí)間推移，每個(gè)節(jié)點(diǎn)的狀態(tài)可以根據(jù)其所有父節(jié)點(diǎn)狀態(tài)的邏輯函數(shù)而變化。系統(tǒng)可以看作是信息從過(guò)去通過(guò)現(xiàn)在的通道傳遞到未來(lái)。我們可以通過(guò)計(jì)算網(wǎng)絡(luò)的過(guò)去和未來(lái)狀態(tài)之間的互信息來(lái)量化這種信息流。具體而言，如果X表示網(wǎng)絡(luò)的過(guò)去狀態(tài)，Y表示未來(lái)狀態(tài)，它們的互信息 I(X,Y) 量化了關(guān)于系統(tǒng)過(guò)去狀態(tài)的知識(shí)在多大程度上減少了對(duì)未來(lái)狀態(tài)的不確定性。
計(jì)算互信息可以獲得系統(tǒng)動(dòng)力學(xué)中的總信息量，但如果系統(tǒng)中包含兩個(gè)以上變量，互信息無(wú)法直接洞察，信息在多個(gè)相互作用變量的集合上如何分布。例如，考慮兩個(gè)源變量X1和X2調(diào)節(jié)單個(gè)目標(biāo)變量Y的情況：我們很容易確定X1和Y之間共享的信息，即互信息 I(X1;Y)（X2與之類似）；也可以計(jì)算出聯(lián)合互信息 I(X1, X2; Y)；但無(wú)法確定哪些信息與哪些變量組合相互關(guān)聯(lián)。比如，一些關(guān)于Y的信息可能是X1單獨(dú)提供而不包含在X2中的；一些可能是X1和X2之間冗余共享的；一些信息則可能只有X1和X2的聯(lián)合狀態(tài)才能共同揭示，而不能從其中任何一個(gè)變量單獨(dú)獲得。
部分信息分解（Partial Information Decomposition, PID）提供了一個(gè)方法，可以將互信息進(jìn)行原子化拆分。對(duì)于上面的例子，兩個(gè)源變量（X1和X2）的聯(lián)合狀態(tài)和單個(gè)目標(biāo)變量（Y）之間的互信息 I(X1, X2; Y) 可以分解為如下的“部分信息原子”之和：
其中 Red(X1, X2; Y) 對(duì)應(yīng)前面提到的X1和X2之間冗余共享的關(guān)于Y的信息，我們稱之為冗余信息；Uniq(X1; Y|X2) 表示X1單獨(dú)提供而不包含在X2中的關(guān)于Y的信息，稱為X1的單獨(dú)信息；Syn(X1, X2; Y) 表示只有X1和X2的聯(lián)合狀態(tài)才能共同揭示的關(guān)于Y的信息，稱為協(xié)同信息。
一個(gè)形象的例子是，我們的兩只眼睛會(huì)共同接收視野中的信息傳輸給大腦，如果閉上一只眼睛，我們會(huì)發(fā)現(xiàn)，每一只眼睛都提供了視野邊緣的一些“單獨(dú)信息”；與此同時(shí)，一些信息是兩只眼睛都能捕捉到的“冗余信息”，比如與顏色有關(guān)的信息往往是冗余的，因?yàn)樗鼘?duì)于識(shí)別物體非常重要，眼睛通過(guò)這種冗余機(jī)制確保了視覺(jué)的穩(wěn)健性與可靠性。另外，關(guān)于空間深度的立體信息是需要兩只眼睛相互協(xié)作才能提供的“協(xié)同信息”，它幫助我們的大腦感知到第三維度。簡(jiǎn)而言之，互信息分解公式可以粗略表示為：
互信息 = 單獨(dú)信息 + 冗余信息 + 協(xié)同信息
隨著源變量的數(shù)量增加，需要考慮的源變量組合的數(shù)量以超指數(shù)增長(zhǎng)，部分信息分解也變得非常復(fù)雜。不過(guò)有趣的是，這些源變量的組合會(huì)自然地組織成一個(gè)部分有序的格點(diǎn)，越是冗余的信息原子越靠近格點(diǎn)底部，協(xié)同信息則靠近格點(diǎn)頂部，我們稱之為部分信息格點(diǎn)（PI lattice）。例如對(duì)于三個(gè)源變量的情況（圖1），PI 格點(diǎn)的底部是 {0}{1}{2}，表示三個(gè)源變量中冗余存在的關(guān)于目標(biāo)變量的信息；頂部是{012}，表示只有聯(lián)合考慮三個(gè)源變量時(shí)才能揭示的關(guān)于目標(biāo)變量的信息，不能通過(guò)任何“更簡(jiǎn)單”的源變量組合來(lái)獲得。
圖1. 在兩幅圖中，左側(cè)表示三個(gè)源變量的部分信息格點(diǎn)，右側(cè)表示部分信息譜。
根據(jù)系統(tǒng)的PI格點(diǎn)可以構(gòu)建PI譜，計(jì)算信息原子在格點(diǎn)中的相對(duì)位置，以此衡量信息的協(xié)同程度。左邊的系統(tǒng)協(xié)同偏差較低，關(guān)于未來(lái)狀態(tài)的大部分互信息冗余地包含在所有元素（{0}{1}{2}）或其他高度冗余的PI原子（如{0}{1}）中。右邊的系統(tǒng)中，三個(gè)元素具有高度的協(xié)同偏差，關(guān)于未來(lái)狀態(tài)的信息大部分只存在于三個(gè)元素的聯(lián)合狀態(tài)（{012}）中。
衡量系統(tǒng)中的協(xié)同信息比例
對(duì)于包含超過(guò)兩個(gè)元素的系統(tǒng)，我們不再能將互信息簡(jiǎn)單地拆分為冗余信息、協(xié)同信息、單獨(dú)信息，而是需要構(gòu)建一個(gè)部分信息譜（Partial Information Spectrum），計(jì)算信息原子在 PI 格點(diǎn)中的相對(duì)位置是靠近底部還是頂部，以此衡量信息的冗余和協(xié)同程度。
PI 格點(diǎn)中越是靠近頂部的原子包含更多協(xié)同信息，同一層的信息原子具有相同的冗余-協(xié)同比率，因此可以將部分信息譜 S 看作一個(gè)有序序列。我們進(jìn)一步定義協(xié)同偏差（synergy bias），定量比較不同 PI 格點(diǎn)頂部所包含的協(xié)同信息比例。系統(tǒng)的協(xié)同偏差定義為，每一層的歸一化部分信息（Si 是第 i 層的所有信息原子占總互信息的比例）乘以該層相對(duì)于格點(diǎn)底部的距離（層數(shù) i 除以格點(diǎn)總層數(shù) |S|）：
協(xié)同偏差越大，表明大部分部分信息存在于元素的協(xié)同關(guān)系中；協(xié)同偏差越小，表明大部分部分信息冗余存在于多個(gè)元素中。
1. 宏觀尺度，信息的協(xié)同作用增加
論文首先以邏輯門為例，展示跨尺度信息轉(zhuǎn)換。通過(guò)將3個(gè)基本邏輯門（與、或、異或）分解為具有更簡(jiǎn)單機(jī)制的微觀尺度邏輯門，可以直接比較微觀尺度和宏觀尺度各自的部分信息分布。
以「異或門」（XOR）為例，如圖2所示，它在宏觀尺度包含3個(gè)元素（XOR，輸入A和B），在微觀尺度可以分解為一個(gè)「非門」、一個(gè)「與門」和一個(gè)「或門」組成的網(wǎng)絡(luò)，共包含5個(gè)元素（NAND、AND、OR，輸入A和B）。計(jì)算相同輸入下宏觀尺度和微觀尺度的互信息可以發(fā)現(xiàn)，在微觀尺度，系統(tǒng)的互信息為2.5比特，在宏觀尺度則是1比特。使用PID對(duì)結(jié)果進(jìn)行分解，系統(tǒng)的協(xié)同偏差從微觀尺度的0.52增加到宏觀尺度的0.83（表1）。也就是說(shuō)，雖然宏觀尺度的整體互信息減少，但信息的協(xié)同作用增加。對(duì)于「或門」和「與門」也是如此，盡管程度較輕。
圖2. 三種邏輯門（右側(cè)）及其底層微觀尺度邏輯門網(wǎng)絡(luò)（左側(cè)）的部分信息譜。
從上到下分別為：與（AND）、或（OR）、異或（XOR ）。協(xié)同偏差和互信息如表1所示。
表1. 三種邏輯門的互信息和協(xié)同偏差。從微觀到宏觀，隨著粗?；潭忍岣?，互信息降低，協(xié)同偏差增加。
這表明，從微觀到宏觀尺度，雖然降維減少了系統(tǒng)的總信息量，但“剩余”信息可以在宏觀PI格點(diǎn)上移動(dòng)到更高層級(jí)。也就是說(shuō)，像粗?；@樣的降維可以改變系統(tǒng)PI格點(diǎn)的信息分布，即使這兩種尺度只是對(duì)同一系統(tǒng)的不同描述。
2. 隨著粗?；?，冗余信息轉(zhuǎn)換為協(xié)同信息
對(duì)于上面的例子，有人可能質(zhì)疑，從微觀到宏觀尺度協(xié)同信息的比例增加，或許只是因?yàn)镻I格點(diǎn)底層的冗余信息在降維過(guò)程中丟掉了。論文提供了另一個(gè)更直接的例子來(lái)說(shuō)明，信息確實(shí)是從一種類型轉(zhuǎn)換為另一種類型，即從冗余信息轉(zhuǎn)換為協(xié)同信息。
首先生成一個(gè)布爾網(wǎng)絡(luò)（用轉(zhuǎn)移概率矩陣TPM表示）作為起始的宏觀尺度，然后如圖3所示，將這個(gè)網(wǎng)絡(luò)上的其中一個(gè)節(jié)點(diǎn)分裂成兩個(gè)節(jié)點(diǎn)，然后繼續(xù)分裂，就從宏觀系統(tǒng)逐步變成更小尺度的中觀系統(tǒng)、微觀系統(tǒng)。通過(guò)在新的擴(kuò)展?fàn)顟B(tài)空間中重新分配轉(zhuǎn)移概率，可以確保隨著維度增加，系統(tǒng)的整體互信息保持不變。由于系統(tǒng)互信息在不同尺度保持不變，協(xié)同偏差的任何變化必然來(lái)自信息轉(zhuǎn)換，而非信息丟失。
圖3. 在互信息固定的情況下，從給定的宏觀尺度構(gòu)建微觀尺度。
左側(cè)為一個(gè)三元素系統(tǒng)，選擇單個(gè)節(jié)點(diǎn) (A) 擴(kuò)展為兩個(gè)節(jié)點(diǎn) α 和 β，形成一個(gè)四元素系統(tǒng)（中）；選擇另一個(gè)節(jié)點(diǎn) (α) 再次擴(kuò)展，得到最終的微觀系統(tǒng)（右）。在節(jié)點(diǎn)擴(kuò)展過(guò)程中，從過(guò)去到未來(lái)狀態(tài)的整體互信息保持不變。下面一行是對(duì)應(yīng)的轉(zhuǎn)移概率矩陣（Transition Probability Matrix, TPM）。
反過(guò)來(lái)對(duì)微觀尺度不斷進(jìn)行粗粒化，可以發(fā)現(xiàn)，從微觀到宏觀轉(zhuǎn)換過(guò)程中協(xié)同偏差的增加，與宏觀協(xié)同偏差之間具有明顯的正相關(guān)關(guān)系（圖4）。這表明即使系統(tǒng)的總互信息在跨尺度情況下保持不變，宏觀尺度上協(xié)同偏差增加，微觀尺度上冗余信息增加。因?yàn)榭偦バ畔⒈３植蛔?，宏觀尺度上協(xié)同信息的增加只可能來(lái)自微觀尺度上冗余信息的減少。這也證明，降維可以通過(guò)將信息更多地轉(zhuǎn)換為協(xié)同信息，來(lái)增加系統(tǒng)的整體協(xié)同性。
圖4. 協(xié)同偏差的跨尺度變化。從微觀尺度到宏觀尺度協(xié)同偏差的變化與宏觀協(xié)同偏差兩者間存在明顯正相關(guān)關(guān)系。
我們看到從微觀尺度到宏觀尺度信息轉(zhuǎn)換的證據(jù)，那它和關(guān)于涌現(xiàn)的其他信息論方法有何關(guān)系？如何在捕捉因果效應(yīng)的有效信息（Effective information, EI）測(cè)量中發(fā)揮作用？
研究已經(jīng)證明，有效信息的跨尺度變化源自確定性（determinism）和簡(jiǎn)并性（degeneracy）的變化：
有效信息 = 確定性 - 簡(jiǎn)并性
其中確定性衡量從某個(gè)狀態(tài)出發(fā)，可以在多大程度上確定性地決定系統(tǒng)的未來(lái)狀態(tài)；一個(gè)完全確定性的系統(tǒng)，其當(dāng)前狀態(tài)以概率1決定系統(tǒng)下一時(shí)刻的狀態(tài)。簡(jiǎn)并性衡量當(dāng)系統(tǒng)處于某個(gè)狀態(tài)時(shí)，可以在多大程度上確定系統(tǒng)的過(guò)去狀態(tài)；一個(gè)極端簡(jiǎn)并的系統(tǒng)，其所有過(guò)去狀態(tài)最終都收斂到相同的最終狀態(tài)，反之，一個(gè)完全不簡(jiǎn)并的系統(tǒng)，其過(guò)去狀態(tài)會(huì)確定一個(gè)唯一的最終狀態(tài)。
在一個(gè)具有完美因果機(jī)制的系統(tǒng)中，每個(gè)原因都有一個(gè)唯一的結(jié)果，每個(gè)結(jié)果都有一個(gè)唯一的原因，它是完全可追溯、完全可預(yù)測(cè)的。這樣的系統(tǒng)，其確定性最大化而簡(jiǎn)并性最小化，有效信息在宏觀尺度不可能增加，因?yàn)榇藭r(shí)沒(méi)有可以轉(zhuǎn)換的信息。從這個(gè)角度，因果涌現(xiàn)可以理解為，因果無(wú)關(guān)信息（如狀態(tài)轉(zhuǎn)變的不確定性）到因果相關(guān)信息（有效信息）的轉(zhuǎn)換。
未來(lái)的進(jìn)一步工作可以研究，協(xié)同信息在什么尺度達(dá)到峰值，或者找到在什么尺度可以最大限度轉(zhuǎn)換信息，同時(shí)最小化丟失信息。盡管這項(xiàng)研究證明了一些冗余信息轉(zhuǎn)換為協(xié)同信息，究竟是哪些信息改變了形式還有待理解。
這篇論文的假設(shè)是，物理之上的其他科學(xué)學(xué)科以及一般的宏觀模型，涉及到冗余信息到協(xié)同信息和單獨(dú)信息的轉(zhuǎn)換，使得這種宏觀尺度對(duì)實(shí)驗(yàn)者非常有用。將這一點(diǎn)與之前的研究聯(lián)系起來(lái)，宏觀模型可以通過(guò)使模型中變量之間的因果關(guān)系更加依賴（通過(guò)增加確定性或減少簡(jiǎn)并性），將因果無(wú)關(guān)的信息轉(zhuǎn)換為因果相關(guān)的信息，實(shí)現(xiàn)因果涌現(xiàn)。
需要注意的是，確定變量之間的依賴性在什么尺度更強(qiáng)要容易得多。例如，有研究表明，生物網(wǎng)絡(luò)比技術(shù)或社會(huì)網(wǎng)絡(luò)顯示出更多的因果關(guān)系。這可能是因?yàn)楹暧^尺度有多種優(yōu)勢(shì)，比如隨機(jī)游走的熵更低，宏觀尺度有更高的全局效率。一些初步研究觀察了超過(guò)1000種蛋白質(zhì)相互作用組，表明在宏觀尺度上更有可能在演化時(shí)間內(nèi)表現(xiàn)出因果涌現(xiàn)。這或許也是控制生物系統(tǒng)如此困難的一個(gè)原因：它們將內(nèi)在的功能尺度隱藏在難以發(fā)現(xiàn)的宏觀尺度中，這使得生物網(wǎng)絡(luò)更加穩(wěn)健，不容易受外部變化影響。
梁金 | 作者
鄧一雪 | 編輯
聯(lián)系客服
