什么是智能體 (Agent)
一種基于LLM（LargeLanguage Model）的能夠感知環(huán)境、做出決策并執(zhí)行行動以實現(xiàn)特定目標的自主系統(tǒng)。與傳統(tǒng)人工智能不同，Al Agent 模仿人類行為模式解決問題，通過獨立思考和調(diào)用工具逐步完成給定目標，實現(xiàn)自主操作。
通用智能體平臺
以Agent為核心技術(shù)驅(qū)動，構(gòu)建通用智能體平臺，通過在智能體感知、記憶、規(guī)劃和執(zhí)行各關(guān)鍵環(huán)節(jié)的能力攻關(guān)，以適應(yīng)不斷變化的實際業(yè)務(wù)和日常辦公需求，提供更加個性化和精準的服務(wù)，并助力工程人員解放腦、解放手、想的更全、做的更準,共同推動了其在更多復(fù)雜場景下的應(yīng)用。
什么是LLM (Large Language Model)
大語言模型是一類基于深度學(xué)習(xí)的人工智能模型，旨在處理和生成自然語言文本。通過訓(xùn)練于大規(guī)模文本數(shù)據(jù)，使得大語言模型能夠理解并生成與人類語言相似的文本，執(zhí)行各類自然語言處理任務(wù)。
LLM的訓(xùn)練及使用
LLM能夠理解并生成與人類語言相似的文本，執(zhí)行各類自然語言處理任務(wù)，具體可應(yīng)用場景包括而不限于文本生成、機器翻譯、摘要生成、對話系統(tǒng)、情感分析等。其具有強大的泛化能力、能夠處理多種任務(wù)。
LLM的訓(xùn)練
LLM的訓(xùn)練過程分為預(yù)訓(xùn)練和微調(diào)兩個階段。
預(yù)訓(xùn)練階段
模型在大規(guī)模未標注文本數(shù)據(jù)上進行自監(jiān)督學(xué)習(xí)，學(xué)習(xí)通用的語言表示。
微調(diào)階段
模型在特定任務(wù)的標注數(shù)據(jù)上進行有監(jiān)督學(xué)習(xí)，調(diào)整模型參數(shù)以適應(yīng)具體任務(wù)需求。
LLM的使用
一方面，對于直觀的日常使用，用戶輸入問題（提示詞，Prompt），大模型給出該問題的回答。
另一方面，對于基于LLM的AI應(yīng)用編程，可通過以指定格式調(diào)用LLM的API，獲取問題的答案。
基于LLM的Agent框架
LLM：對標人類大腦，思考如何解決問題、給出怎樣的回答。
記憶：長期記憶加短期記憶。即智能體使用的歷史記錄、系統(tǒng)數(shù)據(jù)，以及智能體執(zhí)行過程中產(chǎn)生的各種中建信息。
規(guī)劃技能：提示詞編排、意圖理解、任務(wù)分解、自我反思。
工具使用：智能體在執(zhí)行任務(wù)中可能會使用到的各種工具接口。
Transformer架構(gòu)
LLM的核心技術(shù)架構(gòu)是Transformer，這是一個基于自注意力機制的深度學(xué)習(xí)模型。Transformer架構(gòu)的關(guān)鍵在于其能夠并行處理序列數(shù)據(jù)，大大提高了模型的訓(xùn)練效率和性能
參數(shù)規(guī)模
LLM通常采用大規(guī)模神經(jīng)網(wǎng)絡(luò)，參數(shù)數(shù)量從數(shù)百萬到數(shù)十億不等，例如通義干問（Qwen-7B）具有70億的參數(shù)規(guī)模訓(xùn)練數(shù)據(jù)需要高質(zhì)量的、經(jīng)過預(yù)處理的多模態(tài)數(shù)據(jù)。參數(shù)規(guī)模的增加使模型具有更強的學(xué)習(xí)和泛化能力，能夠處理復(fù)雜的語言任務(wù)，但也帶來了計算成本和資源需求的顯著增加。
什么是RAG
LLM回答用戶問題時，是基于訓(xùn)練LLM時使用的文本數(shù)據(jù)進行的。而面對未知知識的問題，它并不能正確回答而容易產(chǎn)生錯誤的結(jié)果，即大模型的幻覺。
什么是RAG
RAG（Retrieval-augmented Generation）是一種自然語言查詢方法，通過一個檢索信息組件從外部知識源獲取附加信息，饋送到LLM prompt以更準確地回答所需的問題。通過額外的知識來增強LLM 以回答問題，用以減少 LLM產(chǎn)生幻覺的傾向。
利用RAG減少幻覺
基于RAG技術(shù)，可以通過構(gòu)建一個知識庫，讓LLM能夠在回答問題時以這個知識庫為基礎(chǔ)，具備回答知識庫中的相關(guān)內(nèi)容的能力。
RAG的優(yōu)勢
基于RAG技術(shù)創(chuàng)建的知識庫，可以比較便利地增刪改其中的文檔，可以支持更頻繁的更新。
RAG的整體流程
RAG的整體流程分為兩大步:
一是事先的索引丨（lndexing）也即是從私有文檔構(gòu)建知識庫的過程;即為圖藍色虛線鏈路。
二是即時的查詢(Querying)也即是針對已構(gòu)建的知識庫進行查詢問答的過程。即為圖紅色虛線鏈路。先檢索，然后生成。
RAG的效果
一是賦予LLM回答私有知識庫問題的能力，減弱幻覺;
二是提供了回答中引用的原文出處，提高檢索效率，同時便于直接對比原文確保LLM回答的準確性在智能問答、文檔摘要、數(shù)據(jù)整理等領(lǐng)域發(fā)揮重要作用
什么是提示詞 (工程)
提示詞（Prompt）是指向LLM提供輸入以引導(dǎo)其生成特定輸出的文本或指令。
提示詞
提示詞包括兩類，系統(tǒng)提示詞與用戶提示詞。用戶提示詞即為用戶的問題；系統(tǒng)提示詞為人工智能應(yīng)用內(nèi)置的指向LLM的一組初始指令或背景信息，用于指導(dǎo)LLM的行為方式和響應(yīng)模式。
一般情況下，提示詞更多的是指用戶提示詞、即用戶發(fā)送給LLM的問題。
提示詞對LLM的影響
在生成文本時，LLM會試圖理解并根據(jù)其理解生成相應(yīng)的響應(yīng)LLM生成的回答的質(zhì)量受用戶提示詞的影響，更完善的提示詞能夠讓LLM更好地理解用戶意圖、給出更契合更完善的回答
如何優(yōu)化提示詞
在提出用戶問題時候，應(yīng)該清晰而具體地表達指令，提出具體的需求;如果對LLM的輸出格式有要求，那么最好提供參考文本作為示例。
如何編寫更好的提示詞
更為完善的提示詞基本組成部分：
指令：要求模型對文本的處理動作。
指令的對象：需要模型處理的文本。
示例：案例或思維模型提示。
輸出要求：對于輸出內(nèi)容的內(nèi)容和格式要求；
異常情況：對于模型無法執(zhí)行，或指令信息缺失時的異常處理機制。
下圖為具體的示例（詢問旅游規(guī)劃），可以發(fā)現(xiàn)，在直接使用例如OpenAI等提供的LLM時，為了獲取更好的問答體驗，需要花費較長時間、較多心思來編寫更好更完善的提示詞，使用體驗反而可能變差了
萬字雄文：一次說清統(tǒng)一認證中心實現(xiàn)
統(tǒng)一認證中心的架構(gòu)設(shè)計與實現(xiàn)（一）
什么時候你意識到做技術(shù)永無出路？
