模型的社會（model society）
在機器學(xué)習(xí)的世界里，主體就是被人賦予了某種智慧形式的“模型”，既然人們能夠讓模型具有智慧進行自主的學(xué)習(xí)，那么人們同樣能夠讓這些模型結(jié)成某種群體結(jié)構(gòu)——乃至更高級的社會結(jié)構(gòu)，讓模型群在一定的交互環(huán)境中成長。這里對模型群體的演變和社會發(fā)展的關(guān)系進行一些膚淺的探討。
（一）共同決策（decision together）
在人類的社會活動中，最簡單的莫過于基于“少數(shù)服從多數(shù)”原則的“投票決策”了：當(dāng)一群人為干什么事情爭論不休的時候，一種簡單又最能被大家所接受的形式就是大家進行投票，然后選擇干最多人支持的事情。在統(tǒng)計學(xué)習(xí)中，Multi-model voting就是這種簡單原則的體現(xiàn)?？墒牵疃嗳酥С值臇|西就是最好的嗎？不要忘了一句很著名的諺語“真理往往掌握在少數(shù)人手中”?；谶@個原理，又出現(xiàn)了另外一種決策方式“精英決策”——通過一定的評比，選出最好的人，讓他代表大家做出決策，對于統(tǒng)計學(xué)習(xí)，相應(yīng)的典型的策略就是Cross Validation。這兩種極端的方式，都有著很明顯的優(yōu)缺點：投票機制，要廣泛發(fā)動群眾投票，費時費力，效率不高，而且往往多方掣肘，導(dǎo)致決策有明顯惰性，裹足不前，但是投票的決策穩(wěn)定，能反映大多數(shù)需求，不容易出軌；精英決策，高效果斷，進取性強，但是完全依賴一個人，導(dǎo)致決策隨心所欲，欠缺穩(wěn)定，風(fēng)險很大。為了克服這兩種決策方式的弊端，有兩種折中的方式：第一種，就是給不同的人不相等的投票權(quán)，一方面多傾聽專家見解，又照顧群眾的需要，這就是現(xiàn)在統(tǒng)計學(xué)習(xí)里面用的很多的weighted voting。第二種，就是不同需要的群體分別選出自己的精英，由一群精英共同決策，以達到平等和效率的平衡。在政治學(xué)術(shù)語中，叫做“代議民主”，統(tǒng)計學(xué)習(xí)里面叫做hierarchical decision。
決策是推動社會發(fā)展的重要活動，但是，我們想過沒有？每個人在投票時的決策是怎么形成的，是受什么影響的呢？這些每個參與投票的人是怎么培養(yǎng)出來的呢？每個社會成員的平時的觀察和實踐，以及社會成員之間的關(guān)系和互動，對于每個成員的成長有什么影響呢？因此，要真正研究一個社會，我們不能只把眼睛盯著決策時刻，更重要的是關(guān)心決策背后的社會構(gòu)成，社會關(guān)系以及社會運動形式。在人類社會如此，在模型的社會，對于模型之間的聯(lián)系，模型的相互作用，和模型群的聯(lián)合演變等等論題的關(guān)懷，同樣對于我們營造一個和諧而強大的模型集體有著重要的意義。后面會逐步探討這些問題。
（二） 模型社會如何運動 （the activity）
在討論之前，先提出一個幾個大前提。嗯，聽起來有點像著名的科幻小說中的“機器人三定律”:
第一前提，模型的社會“絕對聽命”于控制他的人。他們依據(jù)人的指令去執(zhí)行各自的學(xué)習(xí)和工作計劃，并且是盡自己最大的能力去執(zhí)行。絕對不會因為報酬不足而怠工，或者耍小性子不聽話。而且在它們身處的機器的壽命以內(nèi)，能夠連續(xù)不斷不知疲倦地工作。由于人和模型之間的這種“單向支配”關(guān)系，因此模型和人之間不存在nontrivial的互動，所以模型和人的關(guān)系在下面的討論中就忽略了。
第二前提，模型的社會是一個“守法”的社會。在一個系統(tǒng)中，所有的模型都是為了一個共同的目標(biāo)運行的，雖然它們的知識背景，對世界的觀察方式，以及身處的樣本環(huán)境各不一樣，但是他們不會做出諸如“故意攻擊其它模型”或者“故意破壞社會秩序”之類的罪行。人可以給他們設(shè)置一些規(guī)范來約束和指導(dǎo)他們的行為，但是不必擔(dān)心他們?nèi)?#8220;違反法律”。不過，這里只是假定他們不會有“主觀惡意”，但是由于能力和知識局限，他們可能犯錯誤，并且他們的錯誤認識可能沿著他們直接的交流渠道擴散，因此對于錯誤的辨別和抑止將是一個重要的問題。關(guān)于這個問題，我們的改革開放的總設(shè)計師給我們指出了一個重要的法寶“實踐是檢驗真理的唯一標(biāo)準(zhǔn)”，因此我們雖然允許模型之間把各自學(xué)到的知識通過“非實踐性”的途徑傳播（比如我們在書本上學(xué)知識），但是這些知識必須最終通過“實踐”的方法進行檢驗。這一點需要通過一定的“法律制度”加以實現(xiàn)。
第三前提，模型的社會是一個“積極而善良”的社會。模型社會的運動有一個終極目標(biāo)，整個體系的發(fā)展將朝向它發(fā)展。但是，對于一個困難的目標(biāo)，是需要分階段實現(xiàn)，每個局部都有一個“局部目標(biāo)”，這個前提指出，在給定目標(biāo)的指引下，模型群體的運動將朝著接近目標(biāo)的方向發(fā)展，而不是背道而馳，開歷史的倒車。
需要說明的是，每個局部的目標(biāo)往往需要兩部分共同組成——“功利目標(biāo)”和“道德目標(biāo)”。功利目標(biāo)引導(dǎo)“模型”們?nèi)閷崿F(xiàn)最大利益而學(xué)習(xí)和工作，道德目標(biāo)則是著力維護模型之間的良性關(guān)系以及使得模型的走向不至于因為過分最求眼前利益而偏離主方向。這就是媒體中常常宣傳的“物質(zhì)文明和精神文明兩手抓”的問題。由于精神建設(shè)不足導(dǎo)致社會問題叢生，對于這點，其實我們在現(xiàn)實生活中是有著很深刻的教訓(xùn)，因此當(dāng)我們營造模型社會的時候?qū)Υ艘浅Ｗ⒁狻?br>
回到數(shù)學(xué)上來，這就是一個optimization問題的formulation和implementation，事實上任何一個恰當(dāng)?shù)膬?yōu)化算法都能保證第三前提的滿足，對于模型社會的設(shè)計者來說，關(guān)鍵是formulation的問題。許多研究中，人們已經(jīng)發(fā)現(xiàn)在formulation中加入regularization是一項保證不致過早陷入local optima的重要手段，這個regularization term從社會運動的角度說就是一種軟性的道德約束，因此某些literature中對加入regularization的做法叫做"learning with conscience"（有良心的學(xué)習(xí)）。
這三個前提總體上說并不矛盾，但是在某些地方有可能出現(xiàn)矛盾的情況，這個時候，第三前提服從第二前提，第二和第三前提服從第一前提。
模型畢竟不是真正有生命的東西，模型社會要運動起來，需要人的“第一推動力”：人通過設(shè)置一些規(guī)則和發(fā)展目標(biāo)，然后在某個初始狀態(tài)下讓模型社會系統(tǒng)開始運作。在不破壞前面說的大前提的條件下，模型的運動其實是“高度自治”的。至于模型社會最后是成功到達“世界大同”還是遭遇“萬世之劫”，就和人設(shè)置的規(guī)則和目標(biāo)是否合理有很大關(guān)系了。對于允許隨機性存在的體系，偶然因素也可能扮演重要角色。
早期的時候，人們希望模型按照確定性的道路向前走，但是，在統(tǒng)計學(xué)習(xí)的最近發(fā)展中，人們開始認識到隨機性的重要意義。因為人類事實上是在一個未知的世界探索，固定的走向未必是最好的，通過對模型的隨機構(gòu)造，和對前進路線的隨機化干擾，模型將能在運動過程中接觸到并且積累豐富的知識。并且在一個多樣化的探索氛圍中，更有可能發(fā)現(xiàn)更優(yōu)異的狀態(tài)。對于一個模型社會來說，隨機構(gòu)造更是產(chǎn)生多個不同個性的模型的重要源泉，也是社會多樣化的根基所系。在數(shù)值優(yōu)化領(lǐng)域，stochastic annealing和genetic algorithm已經(jīng)顯示出對比于傳統(tǒng)非隨機方法在搜尋全局最優(yōu)上的優(yōu)勢，而在統(tǒng)計學(xué)習(xí)來說，隨機化的方法還在非常初級的萌芽狀態(tài)，而且備受爭議。但是我相信，通過隨機化構(gòu)造一個具有多樣性的模型群體，并且通過合理的引導(dǎo)，共同努力去探索目標(biāo)是一個非常有promising的approach，而這種信念根植于這樣的觀察：在多樣化的社會中創(chuàng)造的巨大的社會進步。
