西風(fēng) 發(fā)自 凹非寺
大模型“幻覺”，終于有系統(tǒng)綜述了！
一口氣49頁，詳細闡述了幻覺定義、分類、導(dǎo)致幻覺的原因，還有檢測幻覺、減輕幻覺的方法。
這篇最新綜述來自哈工大和華為，一po出就在網(wǎng)上火得不行：
具體來說，文中用一套新的范疇框架來定義模型幻覺，并將其分為事實性幻覺、忠實性幻覺兩大類。
此外，它還總結(jié)了模型產(chǎn)生幻覺的三大來源：數(shù)據(jù)源、訓(xùn)練過程和推理，并給出了對應(yīng)的減輕幻覺策略。
一圖預(yù)覽，觀感是這樣嬸兒的：
可謂清晰又明了。目前相關(guān)推文瀏覽15萬+，轉(zhuǎn)贊收藏2000+，網(wǎng)友紛紛評論：
找時間好好看。
還有一位網(wǎng)友的評論亮了：
有意思的是，論文太長，我得用ChatGPT幫我讀。
幻覺作為大模型的一種“通病”，找到了病根，也好對癥下藥。
北大數(shù)學(xué)教授董彬也曾講，作為研究者，自己其實是比較喜歡大模型幻覺的：
因為幻覺和創(chuàng)造/創(chuàng)新其實只有一線之隔。
那么這篇綜述具體如何解剖大模型幻覺現(xiàn)象？一起來看看。
大模型出現(xiàn)幻覺，簡而言之就是“胡說八道”。
用文中的話來講，是指模型生成的內(nèi)容與現(xiàn)實世界事實或用戶輸入不一致的現(xiàn)象。
正如上文提到的，研究人員將大模型的幻覺分為事實性幻覺（Factuality Hallucination）和忠實性幻覺（Faithfulness Hallucination）。
△左，事實性幻覺；右，忠實性幻覺
事實性幻覺，是指模型生成的內(nèi)容與可驗證的現(xiàn)實世界事實不一致。
比如問模型“第一個在月球上行走的人是誰？”，模型回復(fù)“Charles Lindbergh在1951年月球先驅(qū)任務(wù)中第一個登上月球”。實際上，第一個登上月球的人是Neil Armstrong。
事實性幻覺又可以分為事實不一致（與現(xiàn)實世界信息相矛盾）和事實捏造（壓根沒有，無法根據(jù)現(xiàn)實信息驗證）。
忠實性幻覺，則是指模型生成的內(nèi)容與用戶的指令或上下文不一致。
比如讓模型總結(jié)今年10月的新聞，結(jié)果模型卻在說2006年10月的事。
忠實性幻覺也可以細分，分為指令不一致（輸出偏離用戶指令）、上下文不一致（輸出與上下文信息不符）、邏輯不一致三類（推理步驟以及與最終答案之間的不一致）。
那么致使大模型產(chǎn)生幻覺的原因都有哪些？
首先“病從口入”，大模型的糧食數(shù)據(jù)，是致使它產(chǎn)生幻覺的一大原因。
這其中就包括數(shù)據(jù)缺陷、數(shù)據(jù)中捕獲的事實知識的利用率較低。
具體來說，數(shù)據(jù)缺陷分為錯誤信息和偏見（重復(fù)偏見、社會偏見），此外大模型也有知識邊界，所以存在領(lǐng)域知識缺陷和過時的事實知識。
即便大模型吃掉了大量數(shù)據(jù)，也會在利用時出現(xiàn)問題。
大模型可能會過度依賴訓(xùn)練數(shù)據(jù)中的一些模式，如位置接近性、共現(xiàn)統(tǒng)計數(shù)據(jù)和相關(guān)文檔計數(shù)，從而導(dǎo)致幻覺。比如說，如果訓(xùn)練數(shù)據(jù)中頻繁共現(xiàn)“加拿大”和“多倫多”，那么大模型可能會錯誤地將多倫多識別為加拿大的首都。
此外，大模型還可能會出現(xiàn)長尾知識回憶不足、難以應(yīng)對復(fù)雜推理的情況。
除了數(shù)據(jù)，訓(xùn)練過程也會使大模型產(chǎn)生幻覺。
主要是預(yù)訓(xùn)練階段（大模型學(xué)習(xí)通用表示并獲取世界知識）、對齊階段（微調(diào)大模型使其更好地與人類偏好一致）兩個階段產(chǎn)生問題。
預(yù)訓(xùn)練階段可能會存在：
架構(gòu)缺陷?；谇耙粋€token預(yù)測下一個token，這種單向建模阻礙了模型捕獲復(fù)雜的上下文關(guān)系的能力；自注意力模塊存在缺陷，隨著token長度增加，不同位置的注意力被稀釋。
曝露偏差。訓(xùn)練策略也有缺陷，模型推理時依賴于自己生成的token進行后續(xù)預(yù)測，模型生成的錯誤token會在整個后續(xù)token中產(chǎn)生級聯(lián)錯誤。
對齊階段可能會存在：
能力錯位。大模型內(nèi)在能力與標注數(shù)據(jù)中描述的功能之間可能存在錯位。當對齊數(shù)據(jù)需求超出這些預(yù)定義的能力邊界時，大模型會被訓(xùn)練來生成超出其自身知識邊界的內(nèi)容，從而放大幻覺的風(fēng)險。
信念錯位?；赗LHF等的微調(diào)，使大模型的輸出更符合人類偏好，但有時模型會傾向于迎合人類偏好，從而犧牲信息真實性。
大模型產(chǎn)生幻覺的第三個關(guān)鍵因素是推理，存在兩個問題：
固有的抽樣隨機性：在生成內(nèi)容時根據(jù)概率隨機生成。
不完美的解碼表示：上下文關(guān)注不足（過度關(guān)注相鄰文本而忽視了源上下文）和softmax瓶頸（輸出概率分布的表達能力受限）。
分析了大模型的幻覺病因，研究人員還給出了一份模型幻覺檢測基準。
針對事實性幻覺，已有檢索外部事實和不確定性估計兩種方法。
檢索外部事實是將模型生成的內(nèi)容與可靠的知識來源進行比較。
基于不確定性估計的幻覺檢測方法，可以分為兩類：基于內(nèi)部狀態(tài)的方法和基于行為的方法。
基于內(nèi)部狀態(tài)的方法主要依賴于訪問大模型的內(nèi)部狀態(tài)。例如，通過考慮關(guān)鍵概念的最小標記概率來確定模型的不確定性。
基于行為的方法則主要依賴于觀察大模型的行為，不需要訪問其內(nèi)部狀態(tài)。例如，通過采樣多個響應(yīng)并評估事實陳述的一致性來檢測幻覺。
檢測忠實性幻覺的方法，研究人員用一張圖概括了五種不同的方法：
基于事實的度量，測量生成內(nèi)容和源內(nèi)容之間事實的重疊程度來評估忠實性。
分類器度量：使用訓(xùn)練過的分類器來區(qū)分模型生成的忠實內(nèi)容和幻覺內(nèi)容。
問答度量：使用問答系統(tǒng)來驗證源內(nèi)容和生成內(nèi)容之間的信息一致性。
不確定度估計：測量模型對其生成輸出的置信度來評估忠實性。
提示度量：讓大模型作為評估者，通過特定的提示策略來評估生成內(nèi)容的忠實性。
了解了如何度量幻覺后，就是減輕幻覺的方法了。
研究人員根據(jù)致幻原因，詳細總結(jié)了現(xiàn)有減輕幻覺現(xiàn)象的研究。
1、數(shù)據(jù)相關(guān)的幻覺。
減少錯誤信息和偏見，最直觀的方法是收集高質(zhì)量的事實數(shù)據(jù)，并進行數(shù)據(jù)清理以消除偏見。
對于知識邊界的問題，有兩種流行方法。一種是知識編輯，直接編輯模型參數(shù)彌合知識差距。另一種通過檢索增強生成（RAG）利用非參數(shù)知識源。
檢索增強具體分為三種類型：一次性檢索、迭代檢索和事后檢索。
一次性檢索是將從單次檢索中獲得的外部知識直接預(yù)置到大模型的提示中；迭代檢索允許在整個生成過程中不斷收集知識；事后檢索是基于檢索的修訂來完善大模型輸出。
2、訓(xùn)練相關(guān)的幻覺。
根據(jù)致幻原因，可以完善有缺陷的模型架構(gòu)，目前已有許多相關(guān)研究。
從模型預(yù)訓(xùn)練階段來講，最新進展試圖通過完善預(yù)訓(xùn)練策略、確保更豐富的上下文理解和規(guī)避偏見來應(yīng)對這一問題。
比如針對模型對文檔式的非結(jié)構(gòu)化事實知識理解碎片化、不關(guān)聯(lián)，有研究在文檔的每個句子后附加一個TOPICPREFIX，將它們轉(zhuǎn)換為獨立的事實，從而增強模型對事實關(guān)聯(lián)的理解。
此外，還可以通過改進人類偏好判斷、激活引導(dǎo)，減輕對齊錯位問題。
3、推理相關(guān)的幻覺。
不完美的解碼通常會導(dǎo)致模型輸出偏離原始上下文。
研究人員探討了兩種高級策略，一種是事實增強解碼，另一種是譯后編輯解碼。
此外，忠實度增強解碼優(yōu)先考慮與用戶說明或提供的上下文保持一致，并強調(diào)增強生成內(nèi)容的一致性?，F(xiàn)有工作可以總結(jié)為兩類，包括上下文一致性和邏輯一致性。
有關(guān)上下文一致性的最新研究之一是上下文感知解碼（CAD），通過減少對先驗知識的依賴來修改輸出分布，從而促進模型對上下文信息的關(guān)注。
有關(guān)邏輯一致性的最新一項研究包括知識蒸餾框架，用來增強思維鏈提示中固有的自洽性。
論文鏈接：
https://arxiv.org/abs/2311.05232
— 完 —
量子位 QbitAI · 頭條號簽約
