引言：人類以為的豐功偉績，不過是開端的開端……我們在未來100年取得的技術(shù)進(jìn)步，將遠(yuǎn)超我們從控制火種到發(fā)明車輪以來所取得的一切成就。——By Sam Altman說明：ChatGTP發(fā)布后，我第一時間體驗(yàn)了它的對話、翻譯、編程、寫作效果。隨著一行行綠色的字快速地跳出來……一種觸發(fā)了神秘力量的感覺，我預(yù)感到，一個更高維的龐然大物出現(xiàn)了。這樣的現(xiàn)象級事物，可能對各行業(yè)都影響巨大，即使盲人摸象，也值得摸一摸吧。遂陸續(xù)收集了國內(nèi)外100+文章和報(bào)告，趁春節(jié)假期稍微整理，分享給大家。整理后發(fā)現(xiàn)文章太長，計(jì)劃分成上篇《背景+技術(shù)篇》，下篇會是《產(chǎn)品+商業(yè)篇》，so，快來催更呀～01. 背景篇1.1 ChatGTP和OpenAI是什么？
ChatGTP是什么？ChatGPT是由美國頂尖AI實(shí)驗(yàn)室OpenAI開發(fā)的一個人工智能聊天機(jī)器人程序，2022年11月上線，上線不到一周就突破100萬用戶。該程序使用基于GPT-3.5架構(gòu)的大語言模型并通過強(qiáng)化學(xué)習(xí)進(jìn)行訓(xùn)練，
OpenAI是什么？OpenAI 是美國的AI實(shí)驗(yàn)室，非營利組織，定位是促進(jìn)和發(fā)展友好的人工智能，使人類整體受益。OpenAI成立于2015年底，創(chuàng)始人是伊隆·馬斯克以及前YC 總裁Sam Altman。
Sam Altman是誰？
馬斯克就不用介紹了～ Samuel Altman，85年出生的美國人，斯坦福大學(xué)計(jì)算機(jī)系輟學(xué)創(chuàng)業(yè)的極客。美國知名風(fēng)投機(jī)構(gòu)YC的總裁，硅谷創(chuàng)業(yè)教父Paul Graham的繼承人。如果你還不知道YC，你可能知道一個名人：YC的海外站——YC中國（現(xiàn)已更名奇績創(chuàng)壇）總裁正是鼎鼎大名的陸奇。
OpenAI發(fā)展歷程（主要來自維基百科）2015年底，OpenAI成立，組織目標(biāo)是通過與其他機(jī)構(gòu)和研究者的“自由合作”，向公眾開放專利和研究成果。2016年，OpenAI宣稱將制造“通用”機(jī)器人，希望能夠預(yù)防人工智能的災(zāi)難性影響，推動人工智能發(fā)揮積極作用。2019年3月1日成立OpenAI LP子公司，目標(biāo)是盈利和商業(yè)化。2019年7月22日微軟投資OpenAI 10億美元，雙方合作為Azure（微軟的云服務(wù)）開發(fā)人工智能技術(shù)。2020年6月11日宣布了GPT-3語言模型，微軟于2020年9月22日取得獨(dú)家授權(quán)。2022年11月30日，OpenAI發(fā)布了名為ChatGPT的自然語言生成式模型，以對話方式進(jìn)行交互。2023年1月：微軟和OpenAI洽談投資100億美元事宜，并希望將OpenAI的人工智能技術(shù)納入Word、Outlook、Powerpoint和其他應(yīng)用程序中。
02 技術(shù)篇
2.1 ChatGTP的核心競爭力從AI的三大核心要素：數(shù)據(jù)、算法、算力作簡要整理分析。另外，在一個新事物的早期，其創(chuàng)始人的初心和愿景也非常值得關(guān)注，因此還增加一層——理念層的分析。數(shù)據(jù)層：在有3000億單詞的語料上預(yù)訓(xùn)練擁有1750億參數(shù)的模型（訓(xùn)練語料的60%來自于 2016 - 2019 的 C4 + 22% 來自于 WebText2 + 16% 來自于Books + 3%來自于Wikipedia）。
算法層：基于人類反饋的強(qiáng)化學(xué)習(xí)(Reinforcement Learning from Human Feedback, RLHF) 的威力翔實(shí)的回應(yīng)：text-davinci-003 的生成通常比 text-davinci-002長([29)(]) 。ChatGPT 的回應(yīng)則更加冗長，以至于用戶必須明確要求“用一句話回答我”，才能得到更加簡潔的回答。這是 RLHF 的直接產(chǎn)物。公正的回應(yīng)：ChatGPT 通常對涉及多個實(shí)體利益的事件（例如政治事件）給出非常平衡的回答。這也是RLHF的產(chǎn)物。拒絕不當(dāng)問題：這是內(nèi)容過濾器和由 RLHF 觸發(fā)的模型自身能力的結(jié)合，過濾器過濾掉一部分，然后模型再拒絕一部分。拒絕其知識范圍之外的問題：例如，拒絕在2021 年 6 月之后發(fā)生的新事件（因?yàn)樗鼪]在這之后的數(shù)據(jù)上訓(xùn)練過）。這是 RLHF 最神奇的部分，因?yàn)樗鼓Ｐ湍軌螂[式地區(qū)分哪些問題在其知識范圍內(nèi)，哪些問題不在其知識范圍內(nèi)。——By 符堯 《萬字拆解ChatGTP技術(shù)路線圖》
算力層：ChatGPT 的背后離不開大模型、大數(shù)據(jù)、大算力。ChatGPT 成為 AIGC 里程碑的背后，是算力發(fā)展和數(shù)字時代形成的大數(shù)據(jù)所共同支持的大模型訓(xùn)練，才能實(shí)現(xiàn)目前的效果。由 OpenAI 研發(fā)的 ChatGPT 是微調(diào)后的 GPT-3.5系列模型，有著多達(dá) 1750 億個模型參數(shù)，并在今年年初訓(xùn)練完成。模型訓(xùn)練的背后離不開大數(shù)據(jù)的支持，OpenAI 主要使用的公共爬蟲數(shù)據(jù)集有著超過萬億單詞的人類語言數(shù)據(jù)集。在算力方面，GPT-3.5 在 Azure AI 超算基礎(chǔ)設(shè)施（由 V100GPU 組成的高帶寬集群）上進(jìn)行訓(xùn)練，總算力消耗約 3640 PF-days（即每秒一千萬億次計(jì)算，運(yùn)行 3640 天）。
理念層：1. 使命和愿景。出自O(shè)penAI官網(wǎng)介紹：
OpenAI是一家AI研發(fā)和部署公司。我們的使命是確保人工通用智能惠及全人類。OpenAI章程四個要點(diǎn)（破折號是筆者的個人理解）：廣泛造福社會——利他
關(guān)注長遠(yuǎn)安全問題——保姆：）我們擔(dān)心通用人工智能在發(fā)展后期將演變成一場激烈的競賽，導(dǎo)致缺乏充足的時間進(jìn)行安全防范。因此，如果一個與人類價值觀相符、注重安全的項(xiàng)目領(lǐng)先于我們將近達(dá)成通用人工智能，我們承諾將停止競賽，幷轉(zhuǎn)而協(xié)助這個項(xiàng)目。我們會針對個別情況設(shè)計(jì)具體的合作方案。不過，一個典型的觸發(fā)條件可能會是「這個項(xiàng)目在未來兩年內(nèi)能夠成功研發(fā)通用人工智能的概率超過一半」。
引領(lǐng)技術(shù)研究——前沿
保持合作意愿——開放
2. 創(chuàng)始人講演摘錄：From Sam Altman 萬物摩爾定律我們需要設(shè)計(jì)一種制度擁抱這種技術(shù)化的未來，然后對構(gòu)成未來世界大部分價值的資產(chǎn)（公司和土地）征稅，以便公平地分配由此產(chǎn)生的財(cái)富。這樣做可以使未來社會的分裂性大大降低，并使每個人都能參與收益分配。即將到來的變革將圍繞著人類最超凡脫群的能力：思考、創(chuàng)造、理解和推理。在三大技術(shù)革命（農(nóng)業(yè)革命、工業(yè)革命和計(jì)算機(jī)革命）的基礎(chǔ)上，我們將邁入第四階段：人工智能革命。如果我們作為一個共同的社會體可以負(fù)責(zé)任地進(jìn)行這項(xiàng)革命，其產(chǎn)生的足夠財(cái)富將使每個人都能得到他們所需要的東西。3. 技術(shù)理念（From 張俊林《通向AGI之路：大型語言模型（LLM）技術(shù)精要》）OpenAI是怎么看待LLM的呢？回顧它不斷推出的技術(shù)，可以看出，它其實(shí)從GPT 1.0開始，基本就堅(jiān)定地把LLM看作是通往AGI的一條必由之路。具體而言，在OpenAI眼中，未來的AGI應(yīng)該長這個樣子：有一個任務(wù)無關(guān)的超大型LLM，用來從海量數(shù)據(jù)中學(xué)習(xí)各種知識，這個LLM以生成一切的方式，來解決各種各樣的實(shí)際問題，而且它應(yīng)該能聽懂人類的命令，以便于人類使用。其實(shí)對LLM發(fā)展理念的理解，在前半部分，就是“構(gòu)建一個任務(wù)無關(guān)的超大型LLM，讓它從海量數(shù)據(jù)中學(xué)習(xí)各種知識”，這一點(diǎn)幾乎是大家的共識，能體現(xiàn)出OpenAI眼光的其實(shí)是后半部分。OpenAI的理念比較超前，對自我定位從一開始就定得比較高，始終堅(jiān)定不移地探索上述方式是否可以實(shí)現(xiàn)AGI。OpenAI之所以能作出ChatGPT，勝在一個是定位比較高，另一個是不受外界干擾，態(tài)度上堅(jiān)定不移。
2.2 GTP進(jìn)化歷程模型維度（By 符堯)
大模型技術(shù)架構(gòu)演進(jìn)
研發(fā)大模型的金主們
數(shù)據(jù)量和大模型表現(xiàn)統(tǒng)計(jì)圖
大模型為什么如此全能？
2.3 ChatGTP體驗(yàn)和分析體驗(yàn)層面分析：近乎真人一樣的理解能力，模型的魯棒性非常好。經(jīng)過道德訓(xùn)練，不評價人，你很難抓住它的把柄。如果沒有這一條，chatGTP早被玩壞了，一堆的威脅論和口水戰(zhàn)足以讓它下線。更重fact，而不是opinion。你好像在跟一個理智而不是情緒主導(dǎo)的朋友聊天。中文略遜于英文。如果你讓它作一首十四行詩，你會被漂亮的押韻驚訝到。如果許淵沖在世，這個愛玩中英法押韻的老人家估計(jì)能找到對手了。不了解2022年之后的世界。比如2022年卡塔爾世界杯，它會很老實(shí)地說自己不知道2022年之后的世界。這可能也是ChatGTP遜色于搜索引擎最大的地方。畢竟，一年的信息Gap足以讓很多知識大打折扣。最后，如果你在問題里埋了陷阱，你可能會發(fā)現(xiàn)它在一本正經(jīng)地胡說八道。
技術(shù)層分析（By 張俊林）：ChatGPT的最大貢獻(xiàn)在于：基本實(shí)現(xiàn)了理想LLM（大語言模型）的接口層，讓LLM適配人的習(xí)慣命令表達(dá)方式，而不是反過來讓人去適配LLM，絞盡腦汁地想出一個能Work的命令（這就是instruct技術(shù)出來之前，prompt技術(shù)在做的事情），而這增加了LLM的易用性和用戶體驗(yàn)。是InstructGPT/ChatGPT首先意識到這個問題，并給出了很好的解決方案，這也是它最大的技術(shù)貢獻(xiàn)。相對之前的few shot prompting，它是一種更符合人類表達(dá)習(xí)慣的人和LLM進(jìn)行交互的人機(jī)接口技術(shù)。GTP/BERT這樣的大模型出現(xiàn)后，可能導(dǎo)致一部分中間任務(wù)消亡。典型的中間任務(wù)包括：中文分詞、詞性標(biāo)注、NER、句法分析、指代消解、語義Parser等，這類任務(wù)一般并不解決應(yīng)用中的實(shí)際需求，大多數(shù)是作為那些解決實(shí)際需求任務(wù)的中間階段或者輔助階段存在的。自從Bert／GPT出現(xiàn)之后，其實(shí)就沒有必要做這些中間任務(wù)了，因?yàn)橥ㄟ^大量數(shù)據(jù)的預(yù)訓(xùn)練，Bert／GPT已經(jīng)把這些中間任務(wù)作為語言學(xué)特征，吸收到了Transformer的參數(shù)里，此時我們完全可以端到端地直接解決那些最終任務(wù)，而無須對這種中間過程專門建模。這點(diǎn)從統(tǒng)計(jì)機(jī)器翻譯到神經(jīng)網(wǎng)絡(luò)機(jī)器翻譯也有類似發(fā)展過程。
局限和弱點(diǎn)分析：以下是不同渠道的一些局限分析：指標(biāo)缺陷：其獎勵模型圍繞人類監(jiān)督而設(shè)計(jì)，可能導(dǎo)致過度優(yōu)化，從而影響性能，這種如何確定衡量指標(biāo)的難題在它身上也少不了。就像機(jī)器翻譯的Bleu值，一直被吐槽，但找不到更好更方便的評估方式。無法實(shí)時改寫模型的信念：當(dāng)模型表達(dá)對某個事物的信念時，即使該信念是錯誤的，也很難糾正它。這，簡直就像一個倔強(qiáng)的老頭。知識非實(shí)時更新：模型的內(nèi)部知識停留在2021年，對2022年之后的新聞沒有納入。這點(diǎn)在體驗(yàn)層面也說到了。模態(tài)單一：目前的ChatGPT擅長NLP和Code任務(wù)，作為通向AGI的重要種子選手，將圖像、視頻、音頻等圖像與多模態(tài)集成進(jìn)入LLM，乃至AI for Science、機(jī)器人控制等更多、差異化更明顯的其它領(lǐng)域逐步納入LLM，是LLM通往AGI的必經(jīng)之路。而這個方向才剛剛開始，因此具備很高的研究價值。高成本：超級大模型因?yàn)槟Ｐ鸵?guī)模大，所以訓(xùn)練成本過高，導(dǎo)致很少有機(jī)構(gòu)有能力去做這件事。
結(jié)語，一些非結(jié)構(gòu)化的感想就像以太坊創(chuàng)始人V神所說的，一個譯后編輯的時代已經(jīng)到來。AI預(yù)先編程、預(yù)先草擬內(nèi)容，人類來修改。實(shí)際上，在翻譯領(lǐng)域，這場革命已經(jīng)開始，筆者在做的一個項(xiàng)目(www.languagex.com)就是這個方向。BTW，用LanguageX可以使用全球16個主流翻譯引擎翻譯，包括chatGTP，歡迎嘗試（下圖）。
如果我們作為一個共同的社會體可以負(fù)責(zé)任地進(jìn)行這項(xiàng)革命（AI革命），其產(chǎn)生的財(cái)富足夠每個人都能得到他們所需要的東西?！猄am 忘了，'人類的需要'是一個無底洞。不過，這句話的啟發(fā)是：AI革命將極大提升社會生產(chǎn)力，創(chuàng)造巨額財(cái)富。
如果一個與人類價值觀相符、注重安全的項(xiàng)目領(lǐng)先于我們將近達(dá)成通用人工智能，我們承諾將停止競賽，幷轉(zhuǎn)而協(xié)助這個項(xiàng)目——純粹、立志服務(wù)于人的美好發(fā)心，才可以產(chǎn)生美好的愿景，才能做到足夠開放，值得吸引頂級的頭腦去奮斗，值得頂級的資本投入。
多元，而不是壟斷。雖然多元或賽馬消耗社會資源，但永遠(yuǎn)是最安全的方式，如果微軟完全控制了OpenAI，我倒希望還有一個足以牽制和抗衡它的AI機(jī)構(gòu)，比如DeepMind，或者其他。
大多數(shù)某領(lǐng)域所謂“獨(dú)有”的問題，大概率只是缺乏領(lǐng)域知識導(dǎo)致的一種外在表象，只要領(lǐng)域知識足夠多，這個所謂領(lǐng)域獨(dú)有的問題，就可以被很好地解決掉，其實(shí)并不需要專門針對某個具體領(lǐng)域問題，冥思苦想去提出專用解決方案。也許AGI的真相超乎意料地簡單：你只要把這個領(lǐng)域更多的數(shù)據(jù)交給LLM，讓它自己學(xué)習(xí)更多知識即可。
ChatGTP最驚艷的技能幾乎都涉及創(chuàng)意領(lǐng)域，比如寫作、編程、翻譯?，F(xiàn)在看來，AI最有可能取代的工作包含了創(chuàng)造性工作。原來，AI眼中的難和我們眼中的難根本不是一個維度。AI也讓我們更認(rèn)識自己，逼著我們?nèi)ニ伎家恍┦挛锏谋举|(zhì)，比如意識是什么？情感是什么？創(chuàng)造是什么？日光之下，并無新事，我們所謂的“創(chuàng)新”，很大程度上，是不是也是一種沿襲（知識學(xué)習(xí)）和重組（內(nèi)容生成）？
AI也將讓我們審視，人類有什么是不可替代的？什么是人類更底層的東西？什么是更寶貴更獨(dú)特的人類特質(zhì)？什么是應(yīng)該外包給AI的？人類應(yīng)該把時間和生命花費(fèi)在什么事物上？
（LanguageX的多機(jī)翻引擎陣列）
