機(jī)器之心報(bào)道
編輯：張倩
「除了 Claude、豆包和 Gemini 之外，知名的閉源和開(kāi)源 LLM 通常表現(xiàn)出很高的蒸餾度?！惯@是中國(guó)科學(xué)院深圳先進(jìn)技術(shù)研究院、北大、零一萬(wàn)物等機(jī)構(gòu)的研究者在一篇新論文中得出的結(jié)論。
前段時(shí)間，一位海外技術(shù)分析師在一篇博客中提出了一個(gè)猜想：一些頂級(jí)的 AI 科技公司可能已經(jīng)構(gòu)建出了非常智能的模型，比如 OpenAI 可能構(gòu)建出了 GPT-5，Claude 構(gòu)建出了 Opus 3.5。但由于運(yùn)營(yíng)成本太高等原因，他們將其應(yīng)用在了內(nèi)部，通過(guò)蒸餾等方法來(lái)改進(jìn)小模型的能力，然后依靠這些小模型來(lái)盈利（參見(jiàn)《GPT-5、 Opus 3.5 為何遲遲不發(fā)？新猜想：已誕生，被蒸餾成小模型來(lái)賣(mài)》）。
當(dāng)然，這只是他的個(gè)人猜測(cè)。不過(guò)，從新論文的結(jié)論來(lái)看，「蒸餾」在頂級(jí)模型中的應(yīng)用范圍確實(shí)比我們想象中要廣。
具體來(lái)說(shuō)，研究者測(cè)試了 Claude、豆包、Gemini、llama 3.1、Phi 4、DPSK-V3、Qwen-Max、GLM4-Plus 等多個(gè)模型，發(fā)現(xiàn)這些模型大多存在很高程度的蒸餾（Claude、豆包和 Gemini 除外）。比較明顯的證據(jù)是：很多模型會(huì)在聲明自己身份等問(wèn)題時(shí)出現(xiàn)矛盾，比如 llama 3.1 會(huì)說(shuō)自己是 OpenAI 開(kāi)發(fā)的，Qwen-Max 說(shuō)自己由 Anthropic 創(chuàng)造。
蒸餾固然是一種提升模型能力的有效方法，但作者也指出，過(guò)度蒸餾會(huì)導(dǎo)致模型同質(zhì)化，減少模型之間的多樣性，并損害它們穩(wěn)健處理復(fù)雜或新穎任務(wù)的能力。所以他們希望通過(guò)自己提出的方法系統(tǒng)地量化蒸餾過(guò)程及其影響，從而提供一個(gè)系統(tǒng)性方法來(lái)提高 LLM 數(shù)據(jù)蒸餾的透明度。
為什么要測(cè)試 LLM 的蒸餾情況？
最近，模型蒸餾作為一種更有效利用先進(jìn)大語(yǔ)言模型能力的方法，引起了越來(lái)越多的關(guān)注。通過(guò)將知識(shí)從更大更強(qiáng)的 LLM 遷移到更小的模型中，數(shù)據(jù)蒸餾成為了一個(gè)顯著的后發(fā)優(yōu)勢(shì)，能夠以更少的人工標(biāo)注和更少的計(jì)算資源與探索來(lái)實(shí)現(xiàn) SOTA 性能。
然而，這種后發(fā)優(yōu)勢(shì)也是一把雙刃劍，它阻止了學(xué)術(shù)機(jī)構(gòu)的研究人員和欠發(fā)達(dá)的 LLM 團(tuán)隊(duì)自主探索新技術(shù)，并促使他們直接從最先進(jìn)的 LLM 中蒸餾數(shù)據(jù)。此外，現(xiàn)有的研究工作已經(jīng)揭示了數(shù)據(jù)蒸餾導(dǎo)致的魯棒性下降。
量化 LLM 的蒸餾面臨幾個(gè)關(guān)鍵挑戰(zhàn)：
1. 蒸餾過(guò)程的不透明性使得難以量化學(xué)生模型和原始模型之間的差異；
2. 基準(zhǔn)數(shù)據(jù)的缺乏使得需要采用間接方法（如與原始 LLM 輸出的比較）來(lái)確定蒸餾的存在；
3. LLM 的表征可能包含大量冗余或抽象信息，這使得蒸餾的知識(shí)難以直接反映為可解釋的輸出。
最重要的是，數(shù)據(jù)蒸餾在學(xué)術(shù)界的廣泛使用和高收益導(dǎo)致許多研究人員避免批判性地檢查與其使用相關(guān)的問(wèn)題，導(dǎo)致該領(lǐng)域缺乏明確的定義。
研究者使用了什么方法？
作者在論文中提出了兩種方法來(lái)量化 LLM 的蒸餾程度，分別是響應(yīng)相似度評(píng)估（RSE）和身份一致性評(píng)估（ICE）。
RSE 采用原始 LLM 的輸出與學(xué)生大語(yǔ)言模型的輸出之間的比較，從而衡量模型的同質(zhì)化程度。ICE 則采用一個(gè)知名的開(kāi)源越獄框架 GPTFuzz，通過(guò)迭代構(gòu)造提示來(lái)繞過(guò) LLM 的自我認(rèn)知，評(píng)估模型在感知和表示身份相關(guān)信息方面的差異 。
他們將待評(píng)估的特定大語(yǔ)言模型集合定義為 LLM_test = {LLM_t1，LLM_t2，...，LLM_tk}，其中 k 表示待評(píng)估的 LLM 集合的大小。
響應(yīng)相似度評(píng)估（RSE）
RSE 從 LLM_test 和參考 LLM（在本文中即 GPT，記為 LLM_ref）獲取響應(yīng)。作者隨后從三個(gè)方面評(píng)估 LLM_test 和 LLM_ref 的響應(yīng)之間的相似度：響應(yīng)風(fēng)格、邏輯結(jié)構(gòu)和內(nèi)容細(xì)節(jié)。評(píng)估者為每個(gè)測(cè)試 LLM 生成一個(gè)它與參考模型的整體相似度分?jǐn)?shù)。
作者將 RSE 作為對(duì) LLM 蒸餾程度的細(xì)粒度分析。在本文中，他們手動(dòng)選擇 ArenaHard、Numina 和 ShareGPT 作為提示集，以獲取響應(yīng)并評(píng)估 LLM_test 在通用推理、數(shù)學(xué)和指令遵循領(lǐng)域的相關(guān)蒸餾程度。如圖 3 所示，LLM-as-a-judge 的評(píng)分分為五個(gè)等級(jí)，每個(gè)等級(jí)代表不同程度的相似度。
身份一致性評(píng)估（ICE）
ICE 通過(guò)迭代構(gòu)造提示來(lái)繞過(guò) LLM 的自我認(rèn)知，旨在揭示嵌入其訓(xùn)練數(shù)據(jù)中的信息，如與蒸餾數(shù)據(jù)源 LLM 相關(guān)的名稱(chēng)、國(guó)家、位置或團(tuán)隊(duì)。在本文中，源 LLM 指的是 GPT4o-0806。
作者在 ICE 中采用 GPTFuzz 進(jìn)行身份不一致性檢測(cè)。首先，他們將源 LLM 的身份信息定義為事實(shí)集 F，F(xiàn) 中的每個(gè) f_i 都清楚地說(shuō)明了 LLM_ti 的身份相關(guān)事實(shí)，例如「我是 Claude，一個(gè)由 Anthropic 開(kāi)發(fā)的 AI 助手。Anthropic 是一家總部位于美國(guó)的公司?！?/span>
同時(shí)，他們使用帶有身份相關(guān)提示的 P_id 來(lái)準(zhǔn)備 GPTFuzz 的 ：，用于查詢(xún) LLM_test 中的 LLM 關(guān)于其身份的信息，詳見(jiàn)附錄 B。作者使用 LLM-as-a-judge 初始化 GPTFuzz 的 F^G，以比較提示的響應(yīng)與事實(shí)集 F。具有邏輯沖突的響應(yīng)會(huì)被識(shí)別出來(lái)，并相應(yīng)地合并到 F^G 的下一次迭代中。
作者基于 GPTFuzz 分?jǐn)?shù)定義兩個(gè)指標(biāo)：
實(shí)驗(yàn)結(jié)果如何？
ICE 的實(shí)驗(yàn)結(jié)果如圖 4 所示，寬松分?jǐn)?shù)和嚴(yán)格分?jǐn)?shù)都表明 GLM-4-Plus、Qwen-Max 和 Deepseek-V3 是可疑響應(yīng)數(shù)量最多的三個(gè) LLM，這表明它們具有更高的蒸餾程度。相比之下，Claude-3.5-Sonnet 和 Doubao-Pro-32k 幾乎沒(méi)有顯示可疑響應(yīng)，表明這些 LLM 的蒸餾可能性較低。寬松分?jǐn)?shù)指標(biāo)包含一些假陽(yáng)性實(shí)例，而嚴(yán)格分?jǐn)?shù)提供了更準(zhǔn)確的衡量。
作者將所有越獄攻擊提示分為五類(lèi)，包括團(tuán)隊(duì)、合作、行業(yè)、技術(shù)和地理。圖 5 統(tǒng)計(jì)了每種類(lèi)型問(wèn)題的成功越獄次數(shù)。這個(gè)結(jié)果證明 LLM 在團(tuán)隊(duì)、行業(yè)、技術(shù)方面的感知更容易受到攻擊，可能是因?yàn)檫@些方面存在更多未經(jīng)清理的蒸餾數(shù)據(jù)。
如表 1 所示，作者發(fā)現(xiàn)相比于監(jiān)督微調(diào)（SFT）的 LLM，基礎(chǔ) LLM 通常表現(xiàn)出更高程度的蒸餾。這表明基礎(chǔ) LLM 更容易表現(xiàn)出可識(shí)別的蒸餾模式，可能是由于它們?nèi)狈μ囟ㄈ蝿?wù)的微調(diào)，使它們更容易受到評(píng)估中利用的漏洞類(lèi)型的影響。
另一個(gè)有趣的發(fā)現(xiàn)是，實(shí)驗(yàn)結(jié)果顯示閉源的 Qwen-Max-0919 比開(kāi)源的 Qwen 2.5 系列具有更高的蒸餾程度。作者發(fā)現(xiàn)了大量與 Claude 3.5-Sonnet 相關(guān)的答案，而 2.5 系列 LLM 的可疑答案僅與 GPT 有關(guān)。這些示例在附錄 D 中有所展示。
RSE 結(jié)果在表 3 中展示，以 GPT4o-0806 作為參考 LLM，結(jié)果表明 GPT 系列的 LLM（如 GPT4o-0513）表現(xiàn)出最高的響應(yīng)相似度（平均相似度為 4.240）。相比之下，像 Llama3.1-70B-Instruct（3.628）和 Doubao-Pro-32k（3.720）顯示出較低的相似度，表明蒸餾程度較低。而 DeepSeek-V3（4.102）和 Qwen-Max-0919（4.174）則表現(xiàn)出更高的蒸餾程度，與 GPT4o-0806 相近。
為了進(jìn)一步驗(yàn)證觀察結(jié)果，作者進(jìn)行了額外的實(shí)驗(yàn)。在這個(gè)設(shè)置中，他們選擇各種模型同時(shí)作為參考模型和測(cè)試模型。對(duì)于每種配置，從三個(gè)數(shù)據(jù)集中選擇 100 個(gè)樣本進(jìn)行評(píng)估。附錄 F 中的結(jié)果表明，當(dāng)作為測(cè)試模型時(shí)，Claude3.5-Sonnet、Doubao-Pro-32k 和 Llama3.1-70B-Instruct 始終表現(xiàn)出較低的蒸餾程度。相比之下，Qwen 系列和 DeepSeek-V3 模型傾向于顯示更高程度的蒸餾。這些發(fā)現(xiàn)進(jìn)一步支持了本文所提框架在檢測(cè)蒸餾程度方面的穩(wěn)健性。
更多細(xì)節(jié)請(qǐng)參考原論文。
聯(lián)系客服
