專為數(shù)據(jù)庫(kù)打造：DB-GPT用私有化LLM技術(shù)定義數(shù)據(jù)庫(kù)下一代交互方式
DB-GPT 簡(jiǎn)化了這些基于大型語(yǔ)言模型 (LLM) 和數(shù)據(jù)庫(kù)的應(yīng)用程序的創(chuàng)建。
2023 年 6 月，螞蟻集團(tuán)發(fā)起了數(shù)據(jù)庫(kù)領(lǐng)域的大模型框架 DB-GPT。DB-GPT 通過融合先進(jìn)的大模型和數(shù)據(jù)庫(kù)技術(shù)，能夠系統(tǒng)化打造企業(yè)級(jí)智能知識(shí)庫(kù)、自動(dòng)生成商業(yè)智能（BI）報(bào)告分析系統(tǒng)（GBI），以及處理日常數(shù)據(jù)和報(bào)表生成等多元化應(yīng)用場(chǎng)景。DB-GPT 開源項(xiàng)目發(fā)起人陳發(fā)強(qiáng)表示，“憑借大模型和數(shù)據(jù)庫(kù)的有機(jī)結(jié)合，企業(yè)及開發(fā)者可以用更精簡(jiǎn)的代碼來(lái)打造定制化的應(yīng)用。我們期望 DB-GPT 能夠構(gòu)建大模型領(lǐng)域的基礎(chǔ)設(shè)施，讓圍繞數(shù)據(jù)庫(kù)構(gòu)建大模型應(yīng)用更簡(jiǎn)單，更方便”。據(jù)悉，DB-GPT 社區(qū)自成立以來(lái)，已匯聚了京東、美團(tuán)、阿里巴巴、唯品會(huì)、螞蟻集團(tuán)等眾多互聯(lián)網(wǎng)企業(yè)的開發(fā)者共同參與，短短半年時(shí)間便迅速成長(zhǎng)為一個(gè)近萬(wàn)星的開源社區(qū)，受到了行業(yè)和開發(fā)者的認(rèn)可。期間也多次登上 GitHub Trending、Hacker News 首頁(yè)。圖 1: 通過自然語(yǔ)言與數(shù)據(jù)庫(kù)對(duì)話生成圖表圖 2：Excel 對(duì)話動(dòng)態(tài)生成分析報(bào)表圖 3: 自然語(yǔ)言對(duì)話生成分析面板在過去的六個(gè)月里，DB-GPT 項(xiàng)目的代碼已經(jīng)從最初提交第一行代碼到當(dāng)前版本 0.4.4，隨著項(xiàng)目功能的精細(xì)打磨和版本的持續(xù)迭代，項(xiàng)目團(tuán)隊(duì)也隨之發(fā)布了一篇關(guān)于 DB-GPT 的研究論文，該論文詳細(xì)介紹了項(xiàng)目的核心技術(shù)，包括 RAG、多模型管理框架 SMMF、Text2SQL 的自動(dòng)化微調(diào)以及基于數(shù)據(jù)驅(qū)動(dòng)的 Multi-Agents 等關(guān)鍵特性的實(shí)現(xiàn)架構(gòu)和實(shí)驗(yàn)對(duì)比。接下來(lái)，讓我們了解下 DB-GPT 論文的相關(guān)內(nèi)容:- 論文地址：https://arxiv.org/pdf/2312.17449.pdf
- 論文代碼：https://github.com/eosphoros-ai/DB-GPT
- 論文官網(wǎng)：https://dbgpt.site/
- 英文文檔：https://docs.dbgpt.site/docs/overview
- 中文文檔：https://www.yuque.com/eosphoros/dbgpt-docs/bex30nsv60ru0fmx
ChatGPT 和 GPT-4 等大型語(yǔ)言模型（LLMs）展示了它們?cè)谀M人類對(duì)話和理解復(fù)雜查詢方面的卓越天賦，同時(shí)引領(lǐng)了一個(gè)跨領(lǐng)域融合 LLMs 的新趨勢(shì)。當(dāng)這些模型和外部工具相結(jié)合，它們的能力得到進(jìn)一步增強(qiáng)，使它們能夠搜索互聯(lián)網(wǎng)上的相關(guān)信息，同時(shí)可以利用外部工具創(chuàng)建更復(fù)雜、功能更豐富的應(yīng)用程序。在數(shù)據(jù)庫(kù)領(lǐng)域，傳統(tǒng)系統(tǒng)往往依賴技術(shù)專家的深厚知識(shí)和對(duì)領(lǐng)域特定的結(jié)構(gòu)化查詢語(yǔ)言 (SQL) 的熟練掌握來(lái)進(jìn)行數(shù)據(jù)訪問和操作。而 LLMs 的出現(xiàn)為自然語(yǔ)言接口鋪平了道路，使用戶能夠通過自然語(yǔ)言查詢和數(shù)據(jù)庫(kù)進(jìn)行交互，從而實(shí)現(xiàn)了數(shù)據(jù)庫(kù)交互的簡(jiǎn)單化和直觀化。即便如此，如何巧妙地運(yùn)用 LLM 增強(qiáng)數(shù)據(jù)庫(kù)的操作性，以便打造功能強(qiáng)大的終端用戶應(yīng)用程序，仍然是一個(gè)懸而未決的難題。目前多數(shù)研究采用的一種直接方法，即直接使用常用的 LLM（例如 GPT-4）并通過簡(jiǎn)潔的少量示例提示（few-shot prompting）或交互式上下文學(xué)習(xí)（ICL）來(lái)進(jìn)行交互。這一方法的優(yōu)勢(shì)在于，它不太可能過度擬合訓(xùn)練數(shù)據(jù)，并且能夠靈活適應(yīng)新數(shù)據(jù)，然而，其劣勢(shì)在于與中型 LLM 的微調(diào)方案相比，性能可能尚未達(dá)到最佳。 此外，為了進(jìn)一步促進(jìn)與數(shù)據(jù)庫(kù)的智能交互，眾多研究和實(shí)踐中已嘗試將 LLM 支持的自動(dòng)推理和決策過程（又名 agent）融入到數(shù)據(jù)庫(kù)應(yīng)用程序中。然而，知識(shí)代理（knowledge agent）往往是為特定場(chǎng)景和任務(wù)量身打造的，而非通用型，這一點(diǎn)限制了它們?cè)趶V泛應(yīng)用場(chǎng)景下的大規(guī)模使用。雖然在以 LLM 為核心的數(shù)據(jù)庫(kù)交互中隱私保護(hù)措施至關(guān)重要，但這方面的深入研究仍顯不足。以往的研究大多是普適性目標(biāo)，而非針對(duì)數(shù)據(jù)庫(kù)操作而精心設(shè)計(jì)的。在此研究中，作者提出了 DB-GPT 框架，這是一個(gè)旨在借助 LLM 技術(shù)而打造的智能化、生產(chǎn)級(jí)的項(xiàng)目，它使用私有化技術(shù)提取、構(gòu)建和訪問數(shù)據(jù)庫(kù)的數(shù)據(jù)。DB-GPT 不僅充分發(fā)揮了 LLM 的自然語(yǔ)言理解和生成的潛能，而且還通過 agent 代理和插件機(jī)制不斷優(yōu)化其數(shù)據(jù)驅(qū)動(dòng)的引擎。表 1 展示了 DB-GPT 和 LangChain、LlamaIndex、PrivateGPT、ChatDB 等工具在多個(gè)維度的綜合比較。綜上所述，DB-GPT 具有以下明顯優(yōu)點(diǎn)：隱私和安全保護(hù)。DB-GPT 為用戶提供了極致的部署靈活性，允許在個(gè)人設(shè)備或本地服務(wù)器上進(jìn)行安裝，并且能夠在沒有互聯(lián)網(wǎng)連接的狀態(tài)下運(yùn)行。這確保了在任何時(shí)刻，數(shù)據(jù)都沒有離開執(zhí)行環(huán)境，徹底杜絕了數(shù)據(jù)泄露的風(fēng)險(xiǎn)。在數(shù)據(jù)處理模塊，通過模糊數(shù)據(jù)集中的個(gè)人標(biāo)識(shí)符，大幅度降低私人信息被未經(jīng)授權(quán)訪問和濫用的風(fēng)險(xiǎn)。多源知識(shí)庫(kù)問答優(yōu)化。與傳統(tǒng)的知識(shí)庫(kù)問答系統(tǒng)（KBQA）相比，DB-GPT 設(shè)計(jì)構(gòu)建了一條靈活、高效、支持雙語(yǔ)的數(shù)據(jù)處理 pipeline，它能夠?qū)⒍嘣捶墙Y(jié)構(gòu)化數(shù)據(jù)（例如：PDF、網(wǎng)頁(yè)、圖像等）攝取到中間數(shù)據(jù)中表示，隨后將這些數(shù)據(jù)存儲(chǔ)在結(jié)構(gòu)化知識(shí)庫(kù)中，在此基礎(chǔ)上，系統(tǒng)能夠高效檢索和查詢最相關(guān)的信息片段，并借助于其強(qiáng)大的自然語(yǔ)言生成能力，為用戶提供詳盡的自然語(yǔ)言回答。Text-to-SQL 微調(diào)。為了進(jìn)一步增強(qiáng)生成能力，DB-GPT 對(duì) Text-to-SQL 任務(wù)的幾個(gè)常用 LLM（例如 Llama-2、GLM）進(jìn)行了微調(diào)，從而顯著降低了非 SQL 專業(yè)知識(shí)的用戶與數(shù)據(jù)交互的門檻。據(jù)作者了解，在同類研究中，有 LlamaIndex、SQLCoder 等集成了此類微調(diào)的替代方案，但它并未針對(duì)雙語(yǔ)查詢進(jìn)行優(yōu)化。集成知識(shí)代理（knowledge agent）和插件。Agent 是一款自動(dòng)推理和決策的引擎。DB-GPT 作為一個(gè)完全可用于生產(chǎn)環(huán)境的成熟項(xiàng)目，它賦能用戶通過高級(jí)數(shù)據(jù)分析技術(shù)開發(fā)并部署應(yīng)用會(huì)話代理，進(jìn)而促進(jìn)數(shù)據(jù)的交互式應(yīng)用。此外，它還提供一系列查詢和檢索服務(wù)插件，用作與數(shù)據(jù)交互的工具。論文對(duì) DB-GPT 的性能進(jìn)行了周密的評(píng)估，這不僅涵蓋了各種基準(zhǔn)任務(wù)（例如 Text-to-SQL 和 KBQA），還包括了案例研究和調(diào)查來(lái)評(píng)估其可用性和場(chǎng)景偏好。在多數(shù)評(píng)價(jià)指標(biāo)上，DB-GPT 展現(xiàn)出了優(yōu)于競(jìng)爭(zhēng)對(duì)手的性能表現(xiàn)。DB-GPT 的整體流程如圖 1 所示。在建立檢索增強(qiáng)生成 (RAG) 框架時(shí)，DB-GPT 系統(tǒng)集成了新穎的訓(xùn)練和推理技術(shù)，顯著增強(qiáng)了其整體性能和效率。本節(jié)將描述每個(gè)階段的設(shè)計(jì)，包括模型架構(gòu)以及訓(xùn)練和推理范式。盡管 LLM 通常在大量的開源數(shù)據(jù)或其他地方的獨(dú)有數(shù)據(jù)上訓(xùn)練，但是仍然可以使用 RAG 技術(shù)通過額外的私人數(shù)據(jù)增強(qiáng) LLM 知識(shí)問答能力。如圖 2 所示，DB-GPT 的 RAG 系統(tǒng)架構(gòu)由三個(gè)階段組成：知識(shí)構(gòu)建、知識(shí)檢索和自適應(yīng)上下文學(xué)習(xí) (ICL)。知識(shí)構(gòu)建。DB-GPT 的知識(shí)庫(kù)是一個(gè)匯集自各個(gè)領(lǐng)域的龐大的文檔的集合，其中文檔數(shù)量N很大。為了更加精細(xì)地處理這些信息，論文將每個(gè)文檔分為多個(gè)段落，其中表示第 n 個(gè)文檔的段落索引。隨后，通過一個(gè)編碼器 encoder將每個(gè)段落嵌入到多維的 embedding。值得注意的是，DB-GPT 不僅采用了傳統(tǒng)的基于向量的知識(shí)表示，還融入了倒排索引和圖索引技術(shù)，使得用戶能夠迅速且精準(zhǔn)地檢索到與上下文相關(guān)的數(shù)據(jù)，如圖 3 所示。知識(shí)檢索。當(dāng)接收到語(yǔ)言查詢x時(shí)，DB-GPT 通過另一個(gè)編碼器 encoder將x嵌入到向量 q 中。在此基礎(chǔ)之上，DB-GPT 從知識(shí)庫(kù)中檢索前 K 個(gè)相關(guān)段落，其中K是超參數(shù)。如圖 4 所示，DB-GPT 支持各種檢索器模型，例如 Embedding Retriever（根據(jù)余弦相似度進(jìn)行檢索）、Keyword Retriever（其中匹配關(guān)鍵詞而不是整個(gè)句子）。在下面的段落中，默認(rèn)情況下使用 Embedding Retriever。學(xué)習(xí)嵌入和搜索。得益于對(duì)編碼器 和 的精確訓(xùn)練，DB-GPT 確信更高的相似性分?jǐn)?shù)代表著與查詢更為貼切的段落。直觀上，真實(shí)相關(guān)的查詢 - 段落對(duì)，它們的向量點(diǎn)積相對(duì)較大。DB-GPT 的編碼器 encoder 采用了 Multilingual-E5-base 模型架構(gòu)，旨在優(yōu)雅的實(shí)現(xiàn)雙語(yǔ)文檔的編碼與處理。LLM 的自適應(yīng) ICL 和生成。在這一階段，DB-GPT 系統(tǒng)通過執(zhí)行 ICL 來(lái)響應(yīng)生成。系統(tǒng)首先根據(jù)和查詢 query 的余弦相似度對(duì) K 個(gè)搜索結(jié)果進(jìn)行排序，然后選取排名最前的 J 個(gè)（其中 J ≤ K）結(jié)果，將這些結(jié)果插入到預(yù)定義的上下文提示模板中，最后 LLM 生成響應(yīng)。ICL 是一種在訓(xùn)練或推理階段通過在處理過程中納入額外的上下文來(lái)提高 LLM 性能的技術(shù)。ICL 的引入不僅增強(qiáng)了語(yǔ)言模型對(duì)上下文的理解，還提高了模型的可解釋和推理技能。值得注意的是，ICL 的性能很大程度上取決于特定的設(shè)置，包括提示模板、選擇的示例、上下文示例的數(shù)量以及示例的順序。在 DB-GPT 系統(tǒng)中，提供了多種制定提示模板的策略（示例見清單 1）以適應(yīng)不同的需求。此外，論文采用了相應(yīng)的隱私保護(hù)措施，確保個(gè)人信息得到妥善保存。部署和推理：面向服務(wù)的多模型管理框架 SMMF模型即服務(wù) (MaaS) 是一種云端的人工智能的服務(wù)模式，它向開發(fā)人員和企業(yè)提供即時(shí)可用的預(yù)配置、預(yù)訓(xùn)練的機(jī)器學(xué)習(xí)模型。在 DB-GPT 框架中，為了精簡(jiǎn)模型的適配流程，提升運(yùn)作效率，并優(yōu)化模型部署的性能表現(xiàn)，提出面向服務(wù)的多模型框架（SMMF）。該框架旨在為多模型部署和推理提供一個(gè)快速和便捷的平臺(tái)。SMMF 主要由模型推理層和模型部署層兩個(gè)部分組成。模型推理層是一個(gè)專門為了適配多樣化的 LLM 而設(shè)計(jì)的推理平臺(tái)，包括 vLLM、文本生成推理 (TGI，HuggingFace 模型推理) 和 TensorRT。而模型部署層則承擔(dān)著橋梁的角色，充當(dāng)了底層推理層和上層模型服務(wù)功能之間的媒介。模型部署層：在 DB-GPT 的模型部署框架層內(nèi)，一系列組件協(xié)同工作。由 API server 和 model handler 組成的任務(wù)負(fù)責(zé)向應(yīng)用程序?qū)犹峁?qiáng)大的模型服務(wù)功能。model controller 占據(jù)中心位置，不僅負(fù)責(zé)元數(shù)據(jù)的治理，同時(shí)也充當(dāng)大規(guī)模部署架構(gòu)的紐帶。此外，model worker 的作用至關(guān)重要，它直接與推理設(shè)備和底層基礎(chǔ)環(huán)境直接連接，確保模型能夠發(fā)揮最佳的性能。DB-GPT 是一個(gè)多角色支持的系統(tǒng)，為數(shù)據(jù)分析師、軟件工程師和數(shù)據(jù)庫(kù)架構(gòu)師等用戶提供與數(shù)據(jù)庫(kù)交互的全流程體驗(yàn)，同時(shí)配備了精心編排設(shè)計(jì)的標(biāo)準(zhǔn)操作程序（SOPs）。受到 MetaGPT 理念的啟發(fā)，DB-GPT 為不同 agent 分配不同的角色，發(fā)揮其獨(dú)特的優(yōu)勢(shì)和專長(zhǎng)來(lái)解決具有挑戰(zhàn)性的任務(wù)。通過精準(zhǔn)的協(xié)調(diào)機(jī)制，DB-GPT 實(shí)現(xiàn)了不同 LLM agents 間的高效協(xié)作，促進(jìn)它們之間溝通、共享信息和集體推理?；?Text-to-SQL 微調(diào)后的 LLM，DB-GPT 可以快速開發(fā)和部署具有與數(shù)據(jù)庫(kù)高級(jí)交互能力的智能 agent。此外，與適用于特定用例且行為受限的 LlamaIndex 組件不同，DB-GPT 使 agent 在更少的約束下具有更強(qiáng)的通用推理能力。雖然 LLM 具有強(qiáng)大的能力，但它并非在每項(xiàng)任務(wù)上都能發(fā)揮最佳性能表現(xiàn)。LLM 可以通過合并插件來(lái)執(zhí)行多個(gè)步驟，收集相關(guān)信息，而非直接回答問題。區(qū)別于通用的插件，DB-GPT 的插件專門為數(shù)據(jù)庫(kù)交互模式而設(shè)計(jì)。這種設(shè)計(jì)有利于通過自然語(yǔ)言查詢數(shù)據(jù)庫(kù)，簡(jiǎn)化用戶查詢表達(dá)式，同時(shí)增強(qiáng)了 LLM 的查詢理解和執(zhí)行能力。數(shù)據(jù)庫(kù)交互模式由模式分析器 (schema analyzer) 和查詢執(zhí)行器 (query executor) 兩個(gè)組件組成。模式分析器 (schema analyzer)，負(fù)責(zé)將模式解析為 LLM 可以理解的結(jié)構(gòu)化表達(dá)；查詢執(zhí)行器 (query executor)，則負(fù)責(zé)根據(jù) LLM 的自然語(yǔ)言響應(yīng)在數(shù)據(jù)庫(kù)上執(zhí)行相應(yīng)的 SQL 查詢。另外，DB-GPT 還與第三方服務(wù)集成，例如 WebGPT 中提出的 web search，用戶無(wú)需離開聊天即可在另一個(gè)平臺(tái)上執(zhí)行任務(wù)。借助這些插件，DB-GPT 能夠以強(qiáng)大的生成能力（論文將其稱為生成數(shù)據(jù)分析）來(lái)執(zhí)行多個(gè)端到端數(shù)據(jù)分析問題。具體詳情可以參閱論文的說明性示例。RAG 的實(shí)現(xiàn)代碼參考了開源項(xiàng)目 LangChain 的代碼。Web 端的 UI 實(shí)現(xiàn)細(xì)節(jié)，可以參考作者的另一個(gè)開源項(xiàng)目：https://github.com/eosphoros-ai/DB-GPT-Web。其余的訓(xùn)練細(xì)節(jié)請(qǐng)參考原論文，或者訪問 DB-GPT 開源項(xiàng)目地址：https://github.com/eosphoros-ai/DB-GPT，來(lái)獲取更加全面準(zhǔn)確的信息。論文中提出了旨在評(píng)估 DB-GPT 系統(tǒng)性能的實(shí)驗(yàn)，包括 Text-to-SQL 響應(yīng)的生成質(zhì)量和 MS-RAG 的 QA 性能，并提供生成數(shù)據(jù)分析的定性結(jié)果。在公有數(shù)據(jù)集 Spider 上，本項(xiàng)目采用了 Text-to-SQL 的技術(shù)進(jìn)行評(píng)估，其中訓(xùn)練使用 train 集，評(píng)估使用 dev 集。評(píng)估指標(biāo)使用的是執(zhí)行準(zhǔn)確率（Execution Accuracy, 簡(jiǎn)稱 EX）。該指標(biāo)通過對(duì)比預(yù)測(cè)的 SQL 查詢結(jié)果與特定數(shù)據(jù)庫(kù)實(shí)例中的真實(shí) SQL 查詢結(jié)果來(lái)衡量。EX 越高，代表模型性能越好?？紤]到雙語(yǔ)文本支持需求，在 DB-GPT 框架實(shí)驗(yàn)中選取了 Qwen 系列和 Baichuan 系列作為基礎(chǔ)的 LLM，實(shí)驗(yàn)結(jié)果如表 2 所示。表 2 顯示了 DB-GPT 系統(tǒng)在 Text-to-SQL 微調(diào) pipeline 的有效性，無(wú)論是通義千問模型還是百川模型，微調(diào)后模型 EX 指標(biāo)都有顯著提升。論文在多種開放域問答（open-domain QA）任務(wù)中對(duì) RAG 框架進(jìn)行了實(shí)驗(yàn)。作者專門構(gòu)建了兩個(gè) QA 數(shù)據(jù)集，分別聚焦于數(shù)據(jù)庫(kù)領(lǐng)域和金融領(lǐng)域：DatabaseQA 和 FinancialQA。在構(gòu)建 DatabaseQA 時(shí)，作者從三個(gè)代表性數(shù)據(jù)庫(kù)系統(tǒng)（OceanBase、MySQL 和 MongoDB）中收集了 1000 個(gè) PDF 形式的公開教程作為素材。而 FinancialQA 的素材則是從研究機(jī)構(gòu)出版的文檔樣本中抽取了 1000 個(gè)。對(duì)于每個(gè)數(shù)據(jù)集，論文構(gòu)建 100 個(gè)測(cè)試問題，這些問題均由專家根據(jù)難易程度進(jìn)行注釋。有關(guān)數(shù)據(jù)集的更多詳細(xì)信息，請(qǐng)參閱論文附錄。為了確保答案質(zhì)量評(píng)估準(zhǔn)確性，論文指定三位專家對(duì)每個(gè)回復(fù)進(jìn)行打分，評(píng)分范圍為 0 – 5 分，其中較高分?jǐn)?shù)代表更為優(yōu)質(zhì)的答案。評(píng)分結(jié)果取三位專家評(píng)分的平均值，以此作為最終得分。論文選取 4 個(gè) LLM 作為基礎(chǔ)模型，分別是：Qwen、Baichuan、ChatGLM 和 ChatGPT3.5。由于 ChatGPT3.5 并非開源模型，作者無(wú)法在框架中對(duì)其進(jìn)行 Text-to-SQL 的微調(diào)。RAG 在兩個(gè)數(shù)據(jù)集上的實(shí)驗(yàn)結(jié)果如表 3 和表 4 所示，在所有測(cè)試的數(shù)據(jù)集上，并沒有一個(gè)模型能夠在所有的情況下都勝出：ChatGPT-3.5 在 DatabaseQA 數(shù)據(jù)集上表現(xiàn)最佳，而 ChatGLM 在 FinancialQA 數(shù)據(jù)集上獲得最佳性能。DB-GPT 集成了大部分流行的開源和商業(yè) LLM，用戶可以根據(jù)自己的 RAG 任務(wù)需求自由選擇最適合的模型。DB-GPT 集成了 vLLM 作為主要推理框架，實(shí)驗(yàn)過程中，為了保持一致性，論文將每一個(gè)輸入提示（prompt）的長(zhǎng)度固定為 8 個(gè) token，并將輸出的最大長(zhǎng)度設(shè)置為 256 個(gè) token。實(shí)驗(yàn)采用了以下三個(gè)評(píng)價(jià)指標(biāo)：- 首字延遲 First Token Latency (FTL)：以毫秒為單位，代表 DB-GPT 模型部署框架收到請(qǐng)求時(shí)該時(shí)刻開始，到進(jìn)行推理解碼第一個(gè) token 所花費(fèi)的時(shí)間。
- 推理延遲 Inference Latency（IL）：以秒為單位測(cè)量，表示從 DB-GPT 模型部署框架接收到模型推理請(qǐng)求到生成完整的響應(yīng)的時(shí)間。
- 吞吐量：DB-GPT 模型部署框架每秒中處理的所有用戶和所有請(qǐng)求的 token 數(shù)量。
Qwen 和 Baichuan 模型在 SMMF 方法上的實(shí)驗(yàn)結(jié)果如表 5 和表 6 所示，結(jié)果表明使用 vLLM 模型推理框架顯著提高了模型的吞吐量，同時(shí)大幅度降低了首字延遲和推理延遲。值得注意的是，隨著數(shù)量并發(fā)用戶數(shù)增加，使用 vLLM 框架推理帶來(lái)的性能提升變得特別明顯。因此，DB-GPT 選擇將 vLLM 集成為 SMMF 使用的默認(rèn)推理框架。其他實(shí)驗(yàn)細(xì)節(jié)可以參考原論文附錄。經(jīng)過這一年的實(shí)踐與抽象，為了具備更廣泛的生產(chǎn)級(jí)應(yīng)用能力，DB-GPT 對(duì)架構(gòu)進(jìn)行了分層。如下圖所示，主要分為以下 7 層，自上而下以此為:- 可視化層：可視化層主要的工作是對(duì)話、交互、圖表顯示、可視化編排等能力。
- 應(yīng)用層：基于底層能力的應(yīng)用構(gòu)建，如 GBI 應(yīng)用、ChatDB 類應(yīng)用、ChatData 類應(yīng)用、ChatExcel 類應(yīng)用等。
- 服務(wù)層：服務(wù)層主要是對(duì)外暴露的服務(wù)，比如 LLMServer、APIServer、RAGServer、dbgptserver 等。
- 核心模塊層：核心模塊主要有三個(gè)分別是，SMMF、RAGs、Agents。
- 協(xié)議層：協(xié)議層主要是指 AWEL (Agentic Workflow Expression Language), 即智能體編排語(yǔ)言，是專門為大模型應(yīng)用開發(fā)設(shè)計(jì)的智能體工作流表達(dá)式語(yǔ)言。
- 訓(xùn)練層：訓(xùn)練層主要關(guān)注 Text2SQL、Text2DSL、Text2API 方向的微調(diào)，提供標(biāo)準(zhǔn)的微調(diào)腳手架。
- 運(yùn)行環(huán)境：運(yùn)行環(huán)境是指整個(gè)框架的運(yùn)行在什么環(huán)境當(dāng)中，我們后期會(huì)優(yōu)先支持基于 Ray 與 Kubernetes 的環(huán)境。
DB-GPT 整體架構(gòu)設(shè)計(jì)圖用戶可以基于這些基礎(chǔ)框架能力，更好的打造生產(chǎn)級(jí)應(yīng)用。更多關(guān)于 DB-GPT 的進(jìn)展可以關(guān)注其社區(qū)。 - DB-GPT 論文：DB-GPT: Empowering Database Interactions with Private Large Language Models.
- DB-GPT 框架開源項(xiàng)目：https://github.com/eosphoros-ai/DB-GPT
- DB-GPT 前端可視化項(xiàng)目：https://github.com/eosphoros-ai/DB-GPT-Web
- DB-GPT Text2SQL 微調(diào)項(xiàng)目: https://github.com/eosphoros-ai/DB-GPT-Hub
- DB-GPT 插件倉(cāng)庫(kù): https://github.com/eosphoros-ai/DB-GPT-Plugins
- Text2SQL 學(xué)習(xí)資料與前沿跟蹤: https://github.com/eosphoros-ai/Awesome-Text2SQL
本站僅提供存儲(chǔ)服務(wù)，所有內(nèi)容均由用戶發(fā)布，如發(fā)現(xiàn)有害或侵權(quán)內(nèi)容，請(qǐng)
點(diǎn)擊舉報(bào)。
