僅隔四個月，馬斯克官宣Grok，網(wǎng)友：這個AI聊天機器人和它老板一樣，叛逆且幽默！
來源：CSDN（ID：CSDNnews）
整理：屠敏
距離馬斯克 官宣 xAI 公司 正式成立僅過去了四個月，其便帶來了自家的 AI 機器人——Grok 火速加入大模型戰(zhàn)局。在外界看來，時間上有些巧合的是，OpenAI 即將于今晚召開首屆開發(fā)者大會，欲重磅升級 GPT-4 和 ChatGPT 等產(chǎn)品。 正因此，Grok 的搶先發(fā)布，也被視為“叫板” OpenAI。 Grok，根據(jù)官方透露，這款機器人的靈感來源于英國作家道格拉斯·亞當斯所寫的一系列科幻小說《銀河系漫游指南》。 相較行業(yè)內已快跑近一年的 ChatGPT，Grok 與其相似點在于，它也是一款以對話方式回答問題的機器人，可以聯(lián)網(wǎng)，而且可能利用了類似用于訓練 ChatGPT 和其他類似文本生成系統(tǒng)（例如 Meta 的 Llama 2）的知識庫。 有所不同的是，Grok 背靠老牌的社交媒體平臺 X（前身為 Twitter），可以“實時訪問”該平臺上的所有信息，還可以回答大多數(shù)其他 AI 系統(tǒng)拒絕回答的尖銳問題，甚至就如何提問給出建議，一定程度上可將其視為馬斯克最初提出的「TruthGPT」的原型。 除此之外，用外媒的話來形容，Grok 和馬斯克其人一樣，是一款具有“叛逆性格”、“幽默風格”的機器人。
來源：https://twitter.com/imPenny2x/status/1721244781765066950 正因此，xAI 發(fā)布官方公告時也特別強調：如果你討厭幽默，請不用使用它！ 事實上，在剛剛過去的周末里，藏不住開心的馬斯克發(fā)布一條又一條關于 Grok 的消息，隨后 xAI 創(chuàng)始成員 Toby Pohlen 也加入”刷屏“的隊伍，揭曉了一些 Grok 鮮為人知的”內幕“。 首先，Toby Pohlen 向外界揭曉了 Grok 的界面設計，以及一些 UI 功能，這些功能可以讓使用者同處理多項任務，也可以運行多個并發(fā)對話，并在對話進行時在它們之間進行切換。 還可以分支對話，用來更好地探索 Grok 的響應。響應樹（等到視頻結束）允許你在不同的分支之間來回切換。還有一些/命令可用以減少點擊。 你還可以在 VS Code 編輯器中打開所有生成的代碼片段： 也能在 Markdown 編輯器中打開 Grok 的回復，保存它，然后繼續(xù)對話。 最后，還可以調節(jié) Grok 不同的對話模式，如“常規(guī)模式”和在 Logo 上加上一副黑色墨鏡的“娛樂模式”。 再者，在馬斯克分享的示例中，其通過 Grok 與經(jīng)典 GPT 的對比，凸顯了 Grok 可以直接給出互聯(lián)網(wǎng)最新信息來回答問題的優(yōu)勢。 如問及：埃隆最后一次接受 Joe Rogan 是什么時候？ Grok： 埃隆·馬斯克接受 Joe Rogan 的最后一次采訪是在 2023 年 10 月 31 日。在采訪中，他們討論了一些話題，如特斯拉 Cybertruck 皮卡，馬斯克的 X (以前稱為 Twitter)的所有權、COVID 大流行，以及使火星適合居住等問題。 相較之下，不少其他 GPT 還沒有結合互聯(lián)網(wǎng)上的最新消息來回答問題： 與此同時，根據(jù)馬斯克的推文顯示，xAI 的 Grok 系統(tǒng)的設計帶有一點幽默感： 自帶流量加持的 Grok，在開場便受到了不少用戶的關注，各種“調侃”的圖片也隨之而來： 來源：https://twitter.com/GROKERC20 Grok 聊天機器人的背后：Grok-1 大模型、 數(shù)萬個 GPU 集群訓練 看完了 Grok 部分功能特性，接下來，我們再從 xAI 發(fā)布的官方博客中一探 Grok 背后的訓練方法和系統(tǒng)的底層基礎設施。 根據(jù)官方公告顯示，為 Grok 提供動力的引擎叫做 Grok-1，這是 xAI 在過去四個月中開發(fā)的前沿 LLM。 Grok-1 是在數(shù)萬個 GPU 集群（外媒 Techcrunch 透露，可能是由 Oracle 提供的）上花了幾個月時間開發(fā)的，訓練數(shù)據(jù)來自網(wǎng)絡（截至 2023 第三季度）和人類助手的反饋，xAI 將其稱之為“AI 導師”。 事實上在 Grok-1 之前，xAI 公司首先訓練了一個具有 330 億個參數(shù)的原型 LLM （Grok-0）。這個早期模型在標準 LM 基準測試上接近 LLaMA 2 （70B） 功能，但只使用了一半的訓練資源。在過去的兩個月里，xAI 團隊在推理和編碼能力方面取得了重大改進，最終推出了 Grok-1，這是一種功能更強大的最先進的語言模型，在 HumanEval 編碼任務中實現(xiàn)了 63.2%，在 MMLU 上實現(xiàn)了 73%。 為了驗證 Grok-1 的能力，xAI 團隊使用了一些衡量數(shù)學和推理能力的標準機器學習基準進行了一系列評估。 根據(jù)測試結果顯示，Grok-1 目前處于中等水平，超過了 GPT-3.5、LLaMA 2 70B，但是距離 Claude 2、GPT-4 等大模型還有一定的距離。 在基礎設施維度，xAI 團隊表示，「在深度學習研究的前沿，必須像數(shù)據(jù)集和學習算法一樣謹慎地構建可靠的基礎設施。為了創(chuàng)建 Grok，我們構建了一個基于 Kubernetes、Rust 和 JAX 的自定義訓練和推理堆棧?！?/span> 在 xAI 團隊看來，LLM 訓練就像一列貨運列車在前方轟鳴，如果一節(jié)車廂脫軌，整列火車就會被拖離軌道，很難再次直行。GPU 失敗的方式有很多種：制造缺陷、連接松動、配置不正確、內存芯片退化、偶爾的隨機位翻轉等等。在訓練時，xAI 團隊會連續(xù)數(shù)月在數(shù)以萬計的 GPU 之間同步計算，并且由于規(guī)模的原因，所有這些故障模式都變得頻繁。 為了克服這些挑戰(zhàn)，xAI 團隊采用了一套定制的分布式系統(tǒng)，確保立即識別并自動處理每種類型的故障。在 xAI，其將最大限度地提高每瓦有用計算能力作為工作的重點。 據(jù)官方透露，在過去的幾個月里，xAI 的基礎設施已經(jīng)能夠最大限度地減少停機時間，即使在硬件不可靠的情況下也能保持較高的模型浮點運算利用率 （MFU）。 當然，還有一點值得關注的是，在大模型的基礎設施開發(fā)上，Rust 已被證明是構建可擴展、可靠和可維護的基礎設施的理想選擇。它提供了高性能、豐富的生態(tài)系統(tǒng)，并阻擋了人們通常會在分布式系統(tǒng)中發(fā)現(xiàn)的大多數(shù)錯誤。 目前 xAI 團隊采用 Rust 的根本原因也在于其團隊規(guī)模較小，基礎設施的可靠性至關重要，而 Rust 使得其相信，任何代碼修改或重構都可能產(chǎn)生工作程序，這些程序將在最少的監(jiān)督下運行數(shù)月。 在大模型賽道上，初出茅廬的 Grok 仍然是一個非常早期的測試版產(chǎn)品，也會生成一些錯誤或者矛盾的觀點，在這一點上，xAI 團隊也坦然承認。 作為下一步，xAI 團隊表示將實現(xiàn)可靠推理克服當前系統(tǒng)局限性，為此，他們將加大以下幾個方向的研究： 通過工具輔助實現(xiàn)可擴展的監(jiān)督。 人類的反饋是必不可少的。但是，提供一致且準確的反饋可能具有挑戰(zhàn)性，尤其是在處理冗長的代碼或復雜的推理步驟時。人工智能可以通過查找來自不同來源的參考資料、使用外部工具驗證中間步驟以及在必要時尋求人工反饋來協(xié)助進行可擴展的監(jiān)督。xAI 的目標是在模型的幫助下最有效地利用 AI 導師的時間。
與形式驗證集成，確保安全性、可靠性和接地性。 為了創(chuàng)建能夠對現(xiàn)實世界進行深入推理的人工智能系統(tǒng)，xAI 計劃在不那么模糊和更可驗證的情況下發(fā)展推理技能。這使我們能夠在沒有人類反饋或與現(xiàn)實世界交互的情況下評估系統(tǒng)。這種方法的一個主要直接目標是為代碼的正確性提供正式的保證，特別是在 AI 安全的形式可驗證方面。
長期上下文理解和檢索。 在特定環(huán)境中有效發(fā)現(xiàn)有用知識的訓練模型是產(chǎn)生真正智能系統(tǒng)的核心。xAI 正在研究可以在需要時發(fā)現(xiàn)和檢索信息的方法。
對抗魯棒性。 對抗性示例表明，優(yōu)化器可以在訓練和服務期間輕松利用人工智能系統(tǒng)中的漏洞，導致他們犯下嚴重錯誤。這些漏洞是深度學習模型長期存在的弱點。這些漏洞是深度學習模型長期存在的弱點。xAI 對提高 LLM、獎勵模型和監(jiān)控系統(tǒng)的穩(wěn)健性特別感興趣。
多模態(tài)功能。 目前，Grok 沒有其他感官，例如視覺和聽覺。為了更好地幫助用戶，xAI 將為 Grok 配備這些不同的感官，以實現(xiàn)更廣泛的應用，包括實時交互和輔助。
16 美元每個月的 Grok，如何與免費的 ChatGPT、Bard 等競爭？ 有些遺憾的是，目前，xAI 公司僅為美國一部分用戶提供了機會去嘗試 Grok 原型并接受有價值的反饋。 申請加入 Grok 候補名單地址：https://grok.x.ai/ 同時，馬斯克也在 X 上表示，一旦結束早期測試，Grok AI 助手將作為 x Premium+ 的一部分提供。或者，X 用戶可以每月花費 16 美元進行訂閱。 當然，對于這樣尚未開放就先“談錢”的做法，也引發(fā)了不少用戶的爭議： 似乎是 GPT-3.5 級別。不知道為什么有人會為此付費，因為 ChatGPT、Claude、Bard 以及整個開源模型世界都有免費計劃。 沒有論文，也沒有開源（還收費？）。我想知道這如何與進一步研究和“最大限度造福全人類”的崇高目標相一致。 這里沒有關于訓練、評估、可重復性，甚至架構的詳細信息。OpenAI 的 GPT-4 技術報告實際上是一份營銷新聞稿；我覺得在學術嚴謹性方面，這代表了該領域的重大倒退。但這個模型典型地體現(xiàn)了 LLM 商品化的最終結論：沒有試圖量化限制或弱點，將模型的偏見和令人討厭/幻覺性的輸出描述成一種特性，而不是一個問題，所有這些都用追求“最大程度造福人類”的語言來掩蓋模型，同時將其隱藏在一個秘密的等待名單或一個每月16美元的 Twitter 高級訂閱計劃背后。 對此，你怎么看？
參考：
https://x.ai/
https://news.ycombinator.com/item?id=38150877 未來智能實驗室的主要工作包括：建立AI智能系統(tǒng)智商評測體系，開展世界人工智能智商評測；開展互聯(lián)網(wǎng)（城市）大腦研究計劃，構建互聯(lián)網(wǎng)（城市）大腦技術和企業(yè)圖譜，為提升企業(yè)，行業(yè)與城市的智能水平服務。每日推薦范圍未來科技發(fā)展趨勢的學習型文章。目前線上平臺已收藏上千篇精華前沿科技文章和報告。
本站僅提供存儲服務，所有內容均由用戶發(fā)布，如發(fā)現(xiàn)有害或侵權內容，請
點擊舉報 。
