因果發(fā)現(xiàn)及因果性學習，可以幫助從觀察數(shù)據(jù)中發(fā)現(xiàn)變量之間的因果關(guān)系。在集智俱樂部因果科學讀書會中，廣東工業(yè)大學蔡瑞初教授從因果圖構(gòu)建的模型與假設(shè)出發(fā)，對基于約束的方法、基于因果函數(shù)模型的方法和混合型方法這三大類因果關(guān)系發(fā)現(xiàn)方法進行介紹，并探討因果性學習在人工智能領(lǐng)域的應用。
隨著“因果革命”在人工智能與大數(shù)據(jù)領(lǐng)域徐徐展開，作為連接因果科學與深度學習橋梁的因果表征學習，成為備受關(guān)注的前沿方向。以往的深度表征學習在數(shù)據(jù)降維中保留信息并過濾噪音，新興的因果科學則形成了因果推理與發(fā)現(xiàn)的一系列方法。隨著二者結(jié)合，因果表征學習有望催生更強大的新一代AI。新一季的因果表征學習讀書會已經(jīng)啟動，歡迎從事相關(guān)研究的各界朋友參與，詳情見文末。
研究領(lǐng)域：因果科學，因果發(fā)現(xiàn)，因果學習
因果關(guān)系一直是人類認識世界的基本方式和現(xiàn)代科學的基石，可以幫助我們理解很多復雜的現(xiàn)實場景。與相關(guān)關(guān)系對比，因果關(guān)系嚴格區(qū)分了“原因”變量和“結(jié)果”變量，在揭示事物發(fā)生機制、指導干預行為等方面有相關(guān)關(guān)系不能替代的重要作用。1. 如何發(fā)現(xiàn)因果結(jié)構(gòu)
認識事物間的因果關(guān)系，最直接的方法是做隨機實驗，但在現(xiàn)實生活中，隨機實驗有時不具備可操作性，我們越來越希望能夠從觀測數(shù)據(jù)中得到因果關(guān)系，這其中最基本的核心點是需要找到有助于我們發(fā)現(xiàn)因果關(guān)系的額外信息，建立起因果結(jié)構(gòu)和觀測的統(tǒng)計數(shù)據(jù)之間的橋梁，下面介紹三種常用的方法：1）基于約束的方法：主要是PC（Peter-Clark）算法和IC（Inductive Causality）算法，核心原理是基于獨立性和條件獨立性判斷變量之間的獨立性，獲得因果圖，并利用V-結(jié)構(gòu)和定向規(guī)則對變量間的無向邊進行定向。這種方法的缺點是無法區(qū)分馬爾可夫等價類結(jié)構(gòu)。
圖1：基于約束的因果關(guān)系發(fā)現(xiàn)方法2）基于因果函數(shù)模型的方法：主要是加性噪聲模型（ANM）和后非線性模型（PNL），核心原理是假設(shè)結(jié)果Y和原因X具有函數(shù)關(guān)系，如果X對Y做正向回歸，噪聲項與X獨立，Y對X做反向回歸，噪聲項與Y不獨立，則推斷X是Y的原因。
圖2：基于因果函數(shù)模型的因果關(guān)系發(fā)現(xiàn)方法對于離散的類別型數(shù)據(jù)，由于無法直接定義加法操作和回歸函數(shù)操作，為了發(fā)現(xiàn)不對稱性，可以通過在 “X -> Y’ -> Y”前后兩個過程中建立似然度函數(shù)來保證模型的可識別性，找到X和Y之間的因果關(guān)系。3）混合型方法：由于基于約束的方法，無法識別馬爾可夫等價類的問題，而基于因果函數(shù)模型的方法，只能判斷一個變量對結(jié)果變量的影響，無法解決實際生活中多變量的問題，兩類方法在現(xiàn)實中均存在一定的不適用性。為了解決這一問題，引入混合型方法，核心原理是將似然度框架嵌入因果函數(shù)模型，發(fā)現(xiàn)數(shù)據(jù)間的因果結(jié)構(gòu)。圖3：混合型因果關(guān)系發(fā)現(xiàn)方法2. 隱變量場景下，如何發(fā)現(xiàn)因果結(jié)構(gòu)
現(xiàn)實場景中，經(jīng)常有許多存在隱變量的情況，如果數(shù)據(jù)是線性非高斯的，可將獨立噪聲條件（IN）擴展到廣義獨立噪聲條件（GIN），通過找到隱變量的代理變量做回歸，恢復數(shù)據(jù)的因果結(jié)構(gòu)。具體步驟：
1）找到共享同樣的隱變量父節(jié)點的觀察變量cluster；
2）根據(jù)隱變量與觀察變量cluster的關(guān)系，找到不用隱變量之間的關(guān)系。圖4：隱變量場景下因果關(guān)系發(fā)現(xiàn)方法但這種方法的局限性在于其認為觀測變量之間沒有邊，無法推斷變量之間完整的因果關(guān)系，在此基礎(chǔ)上可以利用面向不完全觀察數(shù)據(jù)的因果結(jié)構(gòu)學習算法（FRITL算法）做進一步的優(yōu)化，具體步驟：
1）基于獨立性條件利用FCI方法構(gòu)建祖先圖（PAG）；
2）利用獨立噪聲條件（IN）推斷每個祖先圖（PAG）局部的因果方向；
3）局部的因果方向無法判別時，引入隱變量，利用三分體約束，檢測并合并同一個隱變量，估計未確定的局部因果結(jié)構(gòu)。圖5：隱變量場景下利用FRITL算法的因果關(guān)系發(fā)現(xiàn)方法
正如圖靈獎得獎者Pearl Judea提出的 “因果關(guān)系之梯” 中特別指出，我們當前的機器學習只處于第一層，只是“弱人工智能”，要實現(xiàn)“強人工智能”還需要干預和反事實推理。因果推斷對于克服現(xiàn)有人工智能在抽象、推理、可解釋性等方面的不足具有重要意義，比如（1）在領(lǐng)域遷移中，可以基于因果機制抽象出語義信息實現(xiàn)領(lǐng)域自適應（domain adaptation），解決方案是利用變分自編碼器（VAE）框架，在隱空間（latent space）中，從x學到label y和domain的隱變量，再基于監(jiān)督信號，將label相關(guān)的信息和domain相關(guān)的信息解耦，把語義的label信息單獨抽離出來進行判別，這種方法在剪切圖、藝術(shù)圖、產(chǎn)品圖上都取得了較好的實驗效果。（2）在推薦系統(tǒng)中，我們可以利用因果圖解決自選擇偏差的問題。假設(shè)歷史數(shù)據(jù)是多種營銷策略的混合體（sij），且我們可以通過社交網(wǎng)絡(luò)（Gi）來推斷ui的信息，通過建立因果圖，可以看到sij節(jié)點附近形成兩個v結(jié)構(gòu)，通過eij、vj、ui等變量信息我們就可以推斷sij的信息，從而幫助我們推斷歷史上采取了哪些不同的營銷策略，進而輔助提升推薦的效果。
因果推斷框架的一個最基本的思想是：因果推斷是關(guān)于世界的一個更加穩(wěn)定的抽象模型。因果發(fā)現(xiàn)方法基于高階信息推斷因果結(jié)構(gòu)，因果性學習從復雜信息中抽取因果結(jié)構(gòu)，這兩種方法也都是借鑒了這個思想。但由于受限于很多假設(shè)和理論基礎(chǔ)，很多問題仍在研究過程中，有待大家進一步探索和解決。在因果推斷中，因果發(fā)現(xiàn)和因果性學習往往是互相促進的，因果發(fā)現(xiàn)會用很多VAE的工具，因果性學習也會利用因果圖的先驗信息，在探索過程中可以將兩方面結(jié)合起來打通思考。[1] Cai R, Qiao J, Zhang K, et al. Causal discovery from discrete data using hidden compact representation.NeurIPS, 2018[2] Cai R, Qiao J, Zhang Z, et al. Self: structural equational likelihood framework for causal discovery[C]// AAAI 2018, 32(1)[3] Silva et al. (2006). Learning the structure of linear latent variable models, JMLR, 2006[4] Xie, Cai, Huang, Glymour, Hao, Zhang, 'Generalized Independent Noise Condition for Estimating Linear Non-Gaussian Latent Variable Causal Graphs,' NeurIPS 2020[5] Chen W, Zhang K, Cai R, et al. FRITL: A Hybrid Method for Causal Discovery in the Presence of Latent Confounders[J]. Submitted to JMLR, arXiv preprint arXiv:2103.14238, 2021[6] Cai R, Li Z, Wei P, et al. Learning disentangled semantic representation for domain adaptation[C]//IJCAI:, 2019, 2019: 2060.[7] Cai R, Li Z, et al. Social Recommendation under Discrete Unobserved Exposure Strategies[C]// coming. With wecha蔡瑞初，廣東工業(yè)大學教授、博士生導師、省杰出青年基金獲得者、DMIR實驗室主任、廣東省移動互聯(lián)網(wǎng)電子商務大數(shù)據(jù)工程技術(shù)研究中心副主任。蔡教授專注于因果推斷與因果性學習、深度學習等領(lǐng)域的理論與應用研究。已發(fā)表論文50余篇，包括ICML、NeurIPS、AAAI、IJCAI、SIGMOD、VLDB、SDM等領(lǐng)域重要會議和TNNLS、TKDE、NN、PR等國際著名期刊。上述成果在華為、網(wǎng)易、騰訊等企業(yè)應用實施，取得了良好的經(jīng)濟和社會價值。蔡教授專注于因果推斷與因果性學習、深度學習等領(lǐng)域的理論與應用研究。在上述領(lǐng)域先后主持國家自然科學基金、省杰出青年基金、省特支計劃科技創(chuàng)新青年拔尖人才、珠江科技新星、市協(xié)同創(chuàng)新重大專項等項目。已發(fā)表論文50余篇，包括ICML、NeurIPS、AAAI、IJCAI、SIGMOD 、VLDB、SDM等領(lǐng)域重要會議和TNNLS、TKDE、NN、PR等國際著名期刊。上述成果在華為、網(wǎng)易、騰訊、唯品會、南方電網(wǎng)、南方通信建設(shè)等企業(yè)應用實施，取得了良好的經(jīng)濟和社會價值。先后獲得省科學技術(shù)二等獎（第四完成人）、省科學技術(shù)一等獎（第三完成人）、國家發(fā)明專利獎優(yōu)秀獎（第三完成人）。隨著“因果革命”在人工智能與大數(shù)據(jù)領(lǐng)域徐徐展開，作為連接因果科學與深度學習橋梁的因果表征學習，成為備受關(guān)注的前沿方向。以往的深度表征學習在數(shù)據(jù)降維中保留信息并過濾噪音，新興的因果科學則形成了因果推理與發(fā)現(xiàn)的一系列方法。隨著二者結(jié)合，因果表征學習有望催生更強大的新一代AI。
集智俱樂部組織以“因果表征學習”為主題、為期十周的讀書會，聚焦因果科學相關(guān)問題，共學共研相關(guān)文獻。歡迎從事因果科學、人工智能與復雜系統(tǒng)等相關(guān)研究領(lǐng)域，或?qū)σ蚬碚鲗W習的理論與應用感興趣的各界朋友報名參與。集智俱樂部已經(jīng)組織三季“因果科學”讀書會，形成了超過千人的因果科學社區(qū)，因果表征學習讀書會是其第四季，現(xiàn)在加入讀書會即可參與因果社區(qū)各類線上線下交流合作。
本站僅提供存儲服務，所有內(nèi)容均由用戶發(fā)布，如發(fā)現(xiàn)有害或侵權(quán)內(nèi)容，請
點擊舉報。
