---

  新智元報(bào)道  

前些年國(guó)內(nèi)盛傳一句話：「互聯(lián)網(wǎng)競(jìng)爭(zhēng)進(jìn)入了下半場(chǎng)」。

歷史正在重演：「大模型競(jìng)爭(zhēng)已經(jīng)進(jìn)入了下半場(chǎng)」。

現(xiàn)在大模型賽道的競(jìng)爭(zhēng)，已經(jīng)遠(yuǎn)不止訓(xùn)個(gè)模型、刷個(gè)榜單那么簡(jiǎn)單了，而是考驗(yàn)一家公司在商業(yè)層面全方位的戰(zhàn)略競(jìng)爭(zhēng)，具體體現(xiàn)在以下幾方面：

1. 技術(shù)形態(tài)上，從單純的底座大模型的競(jìng)爭(zhēng)衍生到了到智能體（Agent）的競(jìng)爭(zhēng)；

2. 商業(yè)成熟度上，從技術(shù)demo衍生到了應(yīng)用生態(tài)的競(jìng)爭(zhēng)；

3. 交互入口上，從網(wǎng)頁(yè)端衍生到了交互最頻繁最自然的手機(jī)端；

4. 價(jià)值深度上，從千人一面衍生到了千人千面。

一句話來總結(jié)，大模型競(jìng)爭(zhēng)下半場(chǎng)的核心就是：大模型應(yīng)用生態(tài)（智能體開源（AgentStore）+交互入口（手機(jī)端）。

如今，大部分公司還在做上半場(chǎng)的競(jìng)爭(zhēng)，但筆者眾里尋她千百度，驀然回首，驚喜發(fā)現(xiàn)，有一家公司已經(jīng)全面擁抱大模型競(jìng)爭(zhēng)下半場(chǎng)了——那就是國(guó)內(nèi)頭部的手機(jī)廠商OPPO。

就在昨天，2023 OPPO開發(fā)者大會(huì)上，OPPO官宣發(fā)布了自主訓(xùn)練的個(gè)性專屬大模型與智能體——安第斯大模型（AndesGPT）。

另外，為了更好地促進(jìn)大模型及智能體生態(tài)發(fā)展，AndesGPT后續(xù)將開源智能體框架，便于開發(fā)者打造自己的智能體。

一是面向開發(fā)者建立智能體開發(fā)平臺(tái)，二是打造Agent Store，支持Agent的高效孵化、托管與應(yīng)用。?通過智能體開發(fā)平臺(tái)，OPPO希望在未來，能讓所有人，就算不懂代碼的普通用戶，也能輕松定義和分享AI大模型的應(yīng)用。

你可能會(huì)好奇，作為一家手機(jī)廠商，OPPO為啥會(huì)做大模型和智能體呢？

背后的答案關(guān)乎著OPPO長(zhǎng)期堅(jiān)持的價(jià)值理念——始終堅(jiān)持以用戶需求為中心，以用戶體驗(yàn)為先。

比如，為何今年上半年，OPPO能以2400多萬臺(tái)出貨量穩(wěn)居國(guó)內(nèi)智能手機(jī)市場(chǎng)銷量第一？

在這銷量引領(lǐng)市場(chǎng)的背后，其實(shí)正是OPPO近二十年間不斷從用戶需求和用戶體驗(yàn)出發(fā)的價(jià)值理念下，持續(xù)地深耕底層技術(shù)，以技術(shù)創(chuàng)新作為驅(qū)動(dòng)力，通過持續(xù)打造極致的體驗(yàn)贏得用戶的信賴和認(rèn)可。

遵循著同樣的理念，在大模型范式作為技術(shù)驅(qū)動(dòng)的新時(shí)代，對(duì)于擁有6億C端用戶的OPPO來說，積極擁抱大模型AI智能體新時(shí)代，為手機(jī)端用戶帶來全面革新的智能終端交互體驗(yàn)就成了一個(gè)很順其自然的決定。

目前行業(yè)內(nèi)已經(jīng)存在非常多的開源與閉源大模型，能否直接拿來應(yīng)用解決產(chǎn)品體驗(yàn)升級(jí)問題呢？

OPPO的答案是NO，并選擇了自主訓(xùn)練的路線。

為什么呢？

以信息獲取需求為例，用戶最核心的訴求是獲得專業(yè)、可信、安全的內(nèi)容，而目前的大模型普遍存在“幻覺”，也容易產(chǎn)生不符合內(nèi)容安全規(guī)定的輸出，這讓用戶帶來很大的信任和安全困擾：到底什么時(shí)候可以采信大模型的結(jié)果？

作為國(guó)內(nèi)Top的智能終端廠商，OPPO在端和云的協(xié)作配合上具有天然的系統(tǒng)級(jí)優(yōu)勢(shì)，因此，OPPO公司以「對(duì)話增強(qiáng)、個(gè)性專屬、端云協(xié)同」為核心技術(shù)特點(diǎn)，自主訓(xùn)練更能符合產(chǎn)品體驗(yàn)升級(jí)訴求的大模型是一個(gè)非常水到渠成的事情。

而我們知道，訓(xùn)練出來一個(gè)厲害的大模型，除了必須的算力之外，關(guān)鍵要素還包括：

1. 大規(guī)模高質(zhì)量的語(yǔ)料數(shù)據(jù)

2. 領(lǐng)先的AI算法能力

近5年來，OPPO已經(jīng)完成了這些關(guān)鍵成功要素的積累：

在數(shù)據(jù)方面，在構(gòu)建月活過億的C端產(chǎn)品小布助手的過程，OPPO已經(jīng)完成了大規(guī)模高質(zhì)量語(yǔ)料數(shù)據(jù)的積累；

在AI算法能力方面，在2021年OPPO的預(yù)訓(xùn)練算法模型就處于行業(yè)第一梯隊(duì)，并在大規(guī)模知識(shí)圖譜問答方面獲得行業(yè)Top-1的成績(jī)；

依托以上積累與沉淀，OPPO在今年3月啟動(dòng)了持續(xù)創(chuàng)新的大模型技術(shù)探索，并成為公司安第斯智能云戰(zhàn)略的新一代技術(shù)核心。

作為驅(qū)動(dòng)OPPO公司AI戰(zhàn)略的核心引擎，安第斯大模型全面賦能OPPO智慧終端，持續(xù)構(gòu)建「知識(shí)、記憶、工具、創(chuàng)作」的核心能力，并通過與終端結(jié)合的AI智能體和多模態(tài)對(duì)話范式，給用戶帶來全新的個(gè)性專屬智能體驗(yàn)。

上面是AndesGPT的整體架構(gòu)。在云計(jì)算基礎(chǔ)設(shè)施和高質(zhì)量數(shù)據(jù)支撐下，OPPO主要訓(xùn)練三種規(guī)格的模型：AndesGPT-Tiny、AndesGPT-Turbo和AndesGPT-Titan；因此可以靈活適配不同的業(yè)務(wù)場(chǎng)景。

令人驚喜的是，盡管OPPO是一家手機(jī)廠商，但其在大模型方面的技術(shù)研發(fā)實(shí)力不容小覷。

首先，AndesGPT在行業(yè)主流的網(wǎng)絡(luò)架構(gòu)基礎(chǔ)上，在位置編碼問題上探索了RoPE的base的最優(yōu)值，并結(jié)合log-scale和attention加bias，極大的提升了上下文擴(kuò)展能力，使得8k窗口可以擴(kuò)展到512k，大幅提升外推能力。

此外，AndesGPT還通過GQA技術(shù)結(jié)合膨脹注意力（Dilated Attention）加速了訓(xùn)練和推理，實(shí)現(xiàn)了O(Nd)的線性計(jì)算復(fù)雜度。

AndesGPT不僅僅大幅提升了context窗口和計(jì)算效率，其還通過長(zhǎng)時(shí)記憶機(jī)制，支持了無限長(zhǎng)度的上下文！

這里的長(zhǎng)時(shí)記憶主要包括用戶交互過程中產(chǎn)生的交互歷史、個(gè)人數(shù)據(jù)，以及從中提取的結(jié)構(gòu)化信息等。

對(duì)大模型技術(shù)研究的比較深入的小伙伴都知道，長(zhǎng)時(shí)記憶的引入會(huì)導(dǎo)致多輪對(duì)話的首字推理延遲大大增加，這其實(shí)是一個(gè)很傷用戶體驗(yàn)的現(xiàn)象。

而OPPO針對(duì)這個(gè)難題，成功地自研了一套解決方案——SwappedAttention，其可以在多種復(fù)雜場(chǎng)景中有效減少計(jì)算延遲問題。

從機(jī)制上來說，SwappedAttention是通過內(nèi)存空間與計(jì)算交換的思想來大幅減少首字生成場(chǎng)景中的計(jì)算量，尤其在需要對(duì)長(zhǎng)歷史序列進(jìn)行編碼計(jì)算時(shí)顯著提升效率。

當(dāng)遇到歷史序列較長(zhǎng)的情況時(shí)，普通技術(shù)可能遭遇計(jì)算瓶頸，導(dǎo)致計(jì)算耗時(shí)長(zhǎng)、并發(fā)度低；而SwappedAttention則可以通過緩存歷史的鍵值對(duì)（KV值）顯著縮短首字計(jì)算時(shí)間。

此外，SwappedAttention的多層級(jí)緩存機(jī)制包括GPU顯存、主機(jī)內(nèi)存和通過GDS（GPUDirect Storage）連接外部存儲(chǔ)設(shè)備，按照不同的緩存時(shí)長(zhǎng)和對(duì)話頻率采用分級(jí)存儲(chǔ)和管理策略，以最優(yōu)化資源利用。這一技術(shù)是對(duì)前代PagedAttention的進(jìn)一步的演進(jìn)和擴(kuò)展，是一種更加高效的解決方案。

在應(yīng)用場(chǎng)景上，SwappedAttention對(duì)處理多輪對(duì)話和FileChat文檔對(duì)話有很大的幫助。例如，在多輪對(duì)話中，隨著對(duì)話輪數(shù)累積，Prompt變得越來越長(zhǎng)，每一次查詢的首字生成時(shí)間顯著增長(zhǎng)。使用SwappedAttention，系統(tǒng)能夠?qū)v史KV值存儲(chǔ)在多級(jí)緩存中，有效降低每次對(duì)話時(shí)的首字推理時(shí)間，從而加速用戶獲得響應(yīng)的速度。

而在FileChat文檔對(duì)話場(chǎng)景中，它則能夠存儲(chǔ)并讀取文檔的Attention KV值信息，避免對(duì)長(zhǎng)文本的KV值進(jìn)行重復(fù)計(jì)算。舉例來說，對(duì)于一個(gè)100,000字的文檔對(duì)話，SwappedAttention能顯著減少計(jì)算需求，縮短首字推理的時(shí)間，并同時(shí)提升首字計(jì)算的并發(fā)能力。此外，在非首字推理過程中，它還能夠動(dòng)態(tài)壓縮KV值，以進(jìn)一步減少顯存占用和提高整體的處理能力。

除了以上技術(shù)改進(jìn)外，數(shù)據(jù)層面的工作也可圈可點(diǎn)。

例如，AndesGPT還引入了千億條知識(shí)與對(duì)話數(shù)據(jù)，大幅強(qiáng)化了大模型知識(shí)問答的精準(zhǔn)性。并且融合海量中文對(duì)話數(shù)據(jù)、精品知識(shí)圖譜、高質(zhì)量QA問答數(shù)據(jù)，結(jié)合對(duì)預(yù)訓(xùn)練、指令微調(diào)、人類反饋強(qiáng)化學(xué)習(xí)等技術(shù)的定制優(yōu)化，大語(yǔ)言模型知識(shí)與百科能力的覆蓋面和準(zhǔn)確性有顯著提升。

這直接帶來的效果改善便是——大幅減少幻覺。

此外，AndesGPT在對(duì)話交互時(shí)，還深度融合了用戶的畫像和個(gè)人數(shù)據(jù)，從而給出了千人千面、個(gè)性專屬的大模型產(chǎn)品體驗(yàn)。

以上，AndesGPT解決了「記憶」這個(gè)當(dāng)前大模型領(lǐng)域最大的痛點(diǎn)之一，除了「記憶」這個(gè)核心能力之外，AndesGPT在知識(shí)、工具與創(chuàng)作三大核心能力也都覆蓋了不少深入的優(yōu)化：

• ?在知識(shí)能力方面，AndesGPT融合了知識(shí)圖譜及通用搜索能力，為用戶提供更專業(yè)的問答。通過知識(shí)增強(qiáng)技術(shù)，將外部知識(shí)與模型融合生成結(jié)果，降低幻覺。

• ?在工具使用方面，AndesGPT可以更好的理解設(shè)備控制與服務(wù)API，端到端生成可執(zhí)行指令，且目前已支持使用系統(tǒng)設(shè)置、一方應(yīng)用、三方服務(wù)、代碼解釋器等各類工具。

• ?在創(chuàng)作方面，AndesGPT已全面支持文生圖與圖生圖場(chǎng)景。?這點(diǎn)可以通過新版小布助手來體驗(yàn)；?另外預(yù)告一下12月份即將推出的小布照相館，通過使用安第斯大模型生成不同風(fēng)格的肖像照，可以達(dá)到“在家拍寫真”的效果。

什么是端云協(xié)同呢？

端云協(xié)同是指在信息技術(shù)中，設(shè)備端（客戶端、移動(dòng)端等）與云端服務(wù)器之間的密切協(xié)作。這種協(xié)作關(guān)系旨在將計(jì)算任務(wù)、數(shù)據(jù)處理和服務(wù)能力在本地設(shè)備和遠(yuǎn)程云端之間有效分配和調(diào)度，以利用兩端的優(yōu)勢(shì)，并提高整體系統(tǒng)的性能、效率和用戶體驗(yàn)。

舉個(gè)例子，這次開發(fā)者大會(huì)上，OPPO還發(fā)布了每個(gè)用戶的“專屬AI伙伴”——全新小布。

全新小布進(jìn)一步強(qiáng)化了端云協(xié)同能力，在終端和云端分別部署Tiny和Turbo模型，根據(jù)使用場(chǎng)景和網(wǎng)絡(luò)狀態(tài)做智能分流。特別是離線可運(yùn)行，大大提升了可用性。

在AndesGPT的賦能下，全新小布內(nèi)置了豐富的智能體，不同的智能體為用戶提供不同的場(chǎng)景體驗(yàn)。

以內(nèi)容摘要為例，AndesGPT-Tiny模型在手機(jī)端支持單次最大2048tokens輸入長(zhǎng)度。在圖片生成時(shí)間上，文生圖單張圖片生成耗時(shí)5.5秒，圖生圖單張圖生成6.6秒，具備可落地應(yīng)用條件。

在這個(gè)AI生成摘要或圖片的過程中，「端」的智能設(shè)備提供即時(shí)的響應(yīng)和執(zhí)行，保證了操作的便捷性和實(shí)時(shí)性，而「云」則提供了智能計(jì)算和大規(guī)模的設(shè)備管理能力。所有的指令和數(shù)據(jù)通過端與云的緊密協(xié)作被有效處理，并且還可以根據(jù)數(shù)據(jù)分析調(diào)優(yōu)你的設(shè)定。此外，如果你的設(shè)備從云端下載了最近的更新，它們甚至可以在本地做出更智能的決策，而無需每次都與云端通信。

AndesGPT便是通過這樣的原理，充分發(fā)揮端和云各自優(yōu)勢(shì)，通過「端云分工、端云互補(bǔ)、端云協(xié)作」方式，實(shí)現(xiàn)全場(chǎng)景智能調(diào)度。

筆者一直在思考：

• 為什么OPPO致力于為每個(gè)人打造有用的、個(gè)性專屬的大模型與智能體？

• 為什么AndesGPT可以全面賦能OPPO整體的ColorOS?態(tài)和智慧終端？

筆者總結(jié)了兩點(diǎn)：

一是OPPO長(zhǎng)久以來在科技硬實(shí)力上的投入，以鉆研技術(shù)的實(shí)力和打造生態(tài)的眼光將潘塔納爾系統(tǒng)和安第斯大模型深度協(xié)同，共同升級(jí)ColorOS智慧體驗(yàn)。

二是在人員構(gòu)建、資源投入、算法研究等多個(gè)方面，OPPO一直是穩(wěn)扎穩(wěn)打，OPPO做大模型不是盲目跟風(fēng)、不是突如其來，而是一直堅(jiān)持著自己的判斷，背后的底蘊(yùn)是OPPO將AI這一領(lǐng)域作為戰(zhàn)略級(jí)投入賽道的認(rèn)知。

最后筆者想說：「不以競(jìng)爭(zhēng)為導(dǎo)向，而是真正地從消費(fèi)者的需求出發(fā)，用關(guān)鍵的技術(shù)解決關(guān)鍵的問題，真正帶給用戶有價(jià)值感的產(chǎn)品和體驗(yàn)——這便是OPPO領(lǐng)跑大模型下半場(chǎng)的原因吧。」