https://mp.weixin.qq.com/s/TzMxBlq4UrktPlWMyqPzxQ
原文作者：Elizabeth Gibney
DeepSeek-R1在推理任務(wù)中的表現(xiàn)媲美OpenAI的o1——而且開放給研究人員研究。
中國公司DeepSeek（深度求索）去年首次推出一款大語言模型。來源：Koshiro K/Alamy
日前，來自中國的大語言模型DeepSeek-R1震動了整個科學(xué)圈，對于OpenAI的o1一類的“推理”模型來說，這個負擔得起的開源模型成了它們的競爭對手。
這類模型能以類似人類推理的過程生成逐步式回答。這使得這些模型比之前的語言模型更擅長解決科學(xué)問題，并有望在科研中發(fā)揮作用。1月20日發(fā)布的對R1的初步測試顯示，其在特定化學(xué)、數(shù)學(xué)和代碼任務(wù)上的表現(xiàn)與o1不相上下，OpenAI去年9月發(fā)布的o1曾令科研人員贊嘆不已。
“這太瘋狂了，完全出乎意料，”英國AI咨詢公司DAIR.AI的聯(lián)合創(chuàng)始人、AI研究員Elvis Saravia 在X上寫道。
R1令人贊嘆的原因還有一個。構(gòu)建該模型的DeepSeek（深度求索）是杭州的一家初創(chuàng)公司，該公司以“open-weight”的形式發(fā)布了該模型，open-weight允許科研人員研究并繼續(xù)構(gòu)建這個算法。這個模型使用MIT許可證，能免費重復(fù)使用，但不屬于完全開源，因為其訓(xùn)練數(shù)據(jù)并未公開。
“DeepSeek的開源很了不起，”德國馬克斯·普朗克光學(xué)研究所Artificial Scientist Lab負責人Mario Krenn稱贊道。相比之下，他說，舊金山的OpenAI構(gòu)建的o1等模型，包括其最新的o3，“基本上都是黑箱”。
DeepSeek還沒有公布訓(xùn)練R1的總成本，但使用其界面的用戶只需支付使用o1 的1/30。這家公司還創(chuàng)建了R1的“蒸餾”迷你模型，讓算力有限的研究人員也能上手?！?strong>在o1上要花300多英鎊的一個實驗，用R1只要不到10美元，”Krenn說，“這種巨大差異肯定會影響模型的未來采用?！?/p>
挑戰(zhàn)模型
R1是中國大語言模型（LLM）崛起的一個縮影。DeepSeek脫胎于一家對沖基金公司，上個月橫空出世發(fā)布了名為V3的對話機器人——該機器人雖然預(yù)算不高，但成功打敗了幾大主要對手。專家估計，它大概花了600萬美元租借訓(xùn)練模型的硬件，而Meta的Llama 3.1 405B至少花了6000萬美元，使用的計算資源為前者的11倍。
關(guān)于DeepSeek的熱議還包括：R1誕生于美國對中國公司的出口管制之下——美國禁止中國獲得當前最好的AI處理計算芯片。“R1來自中國的事實表明，有效利用現(xiàn)有資源比只關(guān)注計算規(guī)模更重要?！?/strong>西雅圖的AI研究員Fran?ois Chollet說道。
DeepSeek的進展說明，“大家以為的美國領(lǐng)先優(yōu)勢已經(jīng)大大縮小，”華盛頓的技術(shù)專家、臺灣沉浸式科技公司宏達電（HTC）的Alvin Wang Graylin在X上寫道，“中美兩國應(yīng)該聯(lián)手打造先進AI，而不是繼續(xù)沒有贏家的裝備競賽?！?/strong>
思維鏈
大語言模型的訓(xùn)練需要使用數(shù)以十億計的文本，將它們拆分成字詞單元的 “token”，并學(xué)習數(shù)據(jù)中的模式。這些關(guān)聯(lián)讓大語言模型能預(yù)測一句話中接下來會出現(xiàn)的token。但大語言模型很容易發(fā)明事實，這種現(xiàn)象被稱為“幻覺”（hallucination），而且往往難以對問題進行推理。
和o1一樣，R1使用“思維鏈”方法提升大語言模型解決更復(fù)雜任務(wù)的能力，包括有時能回溯和評估其方法。DeepSeek利用強化學(xué)習通過“微調(diào)”V3構(gòu)建了R1——即在模型獲得正確答案并概述其解決問題的“思考”方式時進行獎勵。
來源：DeepSeek
