国产一级a片免费看高清,亚洲熟女中文字幕在线视频,黄三级高清在线播放,免费黄色视频在线看

2023年可以說是人工智能領(lǐng)域不平凡的一年，隨著人工智能領(lǐng)域的飛速發(fā)展，開發(fā)者們都在尋找能夠輕松、高效地構(gòu)建應(yīng)用的工具。

尤其對(duì)于那些不熟悉大語言模型領(lǐng)域，或者初入此領(lǐng)域的開發(fā)者來說，選擇一個(gè)合適的工具尤為重要。

在眾多的選擇中，有一個(gè)名字越來越受到大家的關(guān)注——LangChain，相信它會(huì)在今年大放異彩，所以今天就來給大家詳細(xì)介紹一下LangChain。

為什么需要LangChain

首先想象一個(gè)開發(fā)者在構(gòu)建一個(gè)LLM應(yīng)用時(shí)的常見場景。

當(dāng)你開始構(gòu)建一個(gè)新項(xiàng)目時(shí)，你可能會(huì)遇到許多API接口、數(shù)據(jù)格式和工具。對(duì)于一個(gè)非AI領(lǐng)域的開發(fā)者來說，要去研究每一個(gè)工具、接口都有著巨大的負(fù)擔(dān)。

現(xiàn)在，假設(shè)你要構(gòu)建一個(gè)涉及語言處理的應(yīng)用，比如一個(gè)智能聊天機(jī)器人，你可能會(huì)想：我難道要一步步去學(xué)習(xí)如何訓(xùn)練一個(gè)語言模型，如何處理各種數(shù)據(jù)，還要解決所有的兼容性問題嗎？

這就是LangChain的價(jià)值所在。

LangChain是一個(gè)集成框架，它為開發(fā)者提供了一系列的工具和組件，使得與語言模型中各種數(shù)據(jù)（如Google Analytics、Stripe、SQL、PDF、CSV等）的連接、語言模型的應(yīng)用和優(yōu)化變得簡單直接。

其實(shí)，LangChain就好比一把“瑞士軍刀”，你不再需要為每一個(gè)任務(wù)找一個(gè)新工具，它提供了一站式的解決方案。正如你要修理一個(gè)小小的家用電器，而你已經(jīng)擁有了一個(gè)完整的工具箱。不管你遇到什么問題，打釘子、擰螺絲、剪線，工具箱里總有一個(gè)合適的工具等著你。LangChain為你提供了這樣的工具箱，不僅涵蓋了基礎(chǔ)工具，還為個(gè)性化需求提供了自定義組件解決方案。

現(xiàn)在，隨著LangChain在開發(fā)者社區(qū)中的受歡迎程度逐漸上升，可以明顯地看到使用LangChain的開發(fā)者數(shù)量呈現(xiàn)激增的趨勢。

2023年8月，LangChain開源框架已經(jīng)收獲了驚人的數(shù)據(jù)：5.82萬個(gè)星標(biāo)、557位專注開發(fā)者，以及7800位積極的分支開發(fā)者。這些數(shù)字從深層次上代表了眾多開發(fā)者對(duì)LangChain實(shí)用性和未來潛力的堅(jiān)定認(rèn)可。

正是因?yàn)長angChain連接了開發(fā)者和復(fù)雜的LLM應(yīng)用，因此，開發(fā)變得更為簡單、高效。也因?yàn)檫@種受歡迎程度和媒體報(bào)道的廣泛傳播，越來越多的開發(fā)者，不論是LLM領(lǐng)域的還是非LLM領(lǐng)域的，都選擇使用LangChain。

LLM應(yīng)用開發(fā)的最后1公里

想象一下，一個(gè)對(duì)編程完全陌生的初學(xué)者，正面臨著如何與模型進(jìn)行交互的諸多問題，哪怕是簡單的GET或POST請(qǐng)求，都可能成為其開發(fā)路上的第一道門檻。而LangChain的存在恰恰能跨越這道門檻，使得LLM應(yīng)用開發(fā)變得觸手可及。

首先，LangChain的簡潔性讓它脫穎而出。開發(fā)者只需要寫幾行代碼，就能運(yùn)行一個(gè)大型LLM程序，甚至快速構(gòu)建一個(gè)響應(yīng)式的機(jī)器人。這種簡潔性意味著，無論是對(duì)于有經(jīng)驗(yàn)的開發(fā)者還是初入此領(lǐng)域的新手，LangChain都能為他們進(jìn)入LLM應(yīng)用開發(fā)的世界鋪平道路。

LangChain還為開發(fā)者集成了豐富的內(nèi)置鏈組件，為開發(fā)者解決了重復(fù)編寫代碼的問題。面對(duì)特定的任務(wù)，如摘要或問答，LangChain提供了專門的摘要鏈和問答鏈，簡化了開發(fā)流程。Agent的引入將工具和數(shù)據(jù)庫的整合提升到了一個(gè)新的層次，使得開發(fā)者可以全心投入任務(wù)。

借助LangChain，開發(fā)者除了可以實(shí)現(xiàn)LLM與真實(shí)世界的在線數(shù)據(jù)增強(qiáng)，即RAG（檢索增強(qiáng)生成），還能在私有環(huán)境中部署模型，或是針對(duì)特定任務(wù)選擇更精確的模型平臺(tái)及型號(hào)，甚至隨時(shí)切換各大平臺(tái)推出的新模型。

而對(duì)于那些未選擇使用LangChain的開發(fā)者來說，他們很可能會(huì)被各模型平臺(tái)的接口選擇、提示詞的編寫，以及輸出格式的處理等問題所困擾，這些復(fù)雜的問題會(huì)成為開發(fā)過程中的巨大障礙，甚至導(dǎo)致開發(fā)者“從入門到放棄”。

在LLM應(yīng)用開發(fā)中，一個(gè)經(jīng)常被遺漏但至關(guān)重要的環(huán)節(jié)是，如何為LLM編寫合適的提示詞，確保LLM能夠準(zhǔn)確理解開發(fā)者的意圖。對(duì)于許多開發(fā)者，特別是初學(xué)者來說，這可能是一個(gè)具有挑戰(zhàn)性的任務(wù)。然而，LangChain為這一問題提供了有力的解決方案。

對(duì)于那些在模型提示詞編寫上感到困惑的開發(fā)者來說，LangChain提供了多種模板供選擇。這并不僅僅是一些隨意整合的模板，而是與各種應(yīng)用、工具緊密集成的組件，其中包含了大量已經(jīng)經(jīng)過實(shí)際驗(yàn)證的提示詞模板。這意味著開發(fā)者無須從零開始編寫程序，只需要在LangChain提供的模板中找到與任務(wù)相匹配的部分，并進(jìn)行相應(yīng)的調(diào)整即可。

以SQL查詢?yōu)槔?，這是一個(gè)對(duì)許多開發(fā)者來說相對(duì)熟悉，但在與LLM結(jié)合時(shí)可能存在困惑的領(lǐng)域。如果一個(gè)開發(fā)者剛開始接觸如何為SQL編寫提示詞，他可以輕松地在LangChain中找到SQL組件的提示詞模板。這些模板中包括如何編寫語法正確的PostgreSQL查詢、如何查看查詢結(jié)果，以及如何返回針對(duì)輸入問題的答案。更進(jìn)一步，LangChain提供的提示詞模板也包括各種查詢的最佳實(shí)踐，如限制PostgreSQL查詢結(jié)果、正確使用列名、注意使用當(dāng)前日期的函數(shù)等。

例如，LangChain提供了以下格式化SQL提示詞模板（翻譯）：

想象一下，如果沒有LangChain提供的這個(gè)提示詞模板，當(dāng)你要開始編寫一段SQL查詢代碼時(shí)，會(huì)走多少彎路？

LLM應(yīng)用開發(fā)的最后1公里，其意義是確保開發(fā)者無須為了一個(gè)小細(xì)節(jié)而多走彎路，正如居民無須跑很遠(yuǎn)坐公交車一樣，每一個(gè)關(guān)鍵的細(xì)節(jié)都能得到及時(shí)而準(zhǔn)確的處理，使得整個(gè)開發(fā)過程更為高效。

LangChain的2個(gè)關(guān)鍵詞

在現(xiàn)代軟件工程中，如何將龐大復(fù)雜的系統(tǒng)劃分為更小、更易于管理和使用的部分，已經(jīng)成了設(shè)計(jì)和開發(fā)的核心考量。在這個(gè)背景下，LangChain以“組件”和“鏈”作為2個(gè)關(guān)鍵概念，為LLM應(yīng)用開發(fā)者提供了便利。

首先來談?wù)劇敖M件”。

在LangChain中，組件不是代碼的拼湊，而是一個(gè)具有明確功能和用途的單元。組件包括LLM模型包裝器、聊天模型包裝器及與數(shù)據(jù)增強(qiáng)相關(guān)的一系列工具和接口。這些組件就是LangChain中的核心，你可以把它們看作數(shù)據(jù)處理流水線上的各個(gè)工作站。每個(gè)組件都有其特定的職責(zé)，如處理數(shù)據(jù)的輸入輸出、轉(zhuǎn)化數(shù)據(jù)格式。

然而，單純的組件還不足以滿足復(fù)雜應(yīng)用的需求，這時(shí)“鏈”便顯得尤為關(guān)鍵。在LangChain的體系中，鏈?zhǔn)菍⒏鞣N組件連接在一起的紐帶，它能夠確保組件之間的無縫集成和在程序運(yùn)行環(huán)境中的高效調(diào)用。無論是對(duì)于LLM還是其他工具，鏈都扮演著至關(guān)重要的角色。舉個(gè)例子，LLMChain，這是LangChain中最常用的鏈，它可以整合LLM模型包裝器和記憶組件，讓聊天機(jī)器人擁有“記憶”。

值得一提的是，LangChain并沒有止步于提供基礎(chǔ)的組件和鏈。反之，它進(jìn)一步為這些核心部分提供了標(biāo)準(zhǔn)的接口，并與數(shù)據(jù)處理平臺(tái)及實(shí)際應(yīng)用工具緊密集成。這樣的設(shè)計(jì)不僅強(qiáng)化了LangChain與其他數(shù)據(jù)平臺(tái)和實(shí)際工具的連接，也確保了開發(fā)者能在一個(gè)開放且友好的環(huán)境中輕松地進(jìn)行LLM應(yīng)用開發(fā)。

以最常見的聊天機(jī)器人為例，為了在各種場景中為用戶提供自然、流暢的對(duì)話體驗(yàn)，聊天機(jī)器人需要具備多種功能，包括與用戶進(jìn)行日常交流、獲取天氣信息及實(shí)時(shí)搜索。這一設(shè)計(jì)目標(biāo)意味著要處理的任務(wù)范圍覆蓋了從簡單的日常對(duì)話到復(fù)雜的信息查詢，因此，一個(gè)結(jié)構(gòu)化、模塊化的設(shè)計(jì)方案是必要的。

在此背景下，LangChain 的“組件”和“鏈”提供了極大的幫助。利用LangChain的組件，開發(fā)者可以為聊天機(jī)器人設(shè)計(jì)不同的模塊，如與用戶進(jìn)行日常交流的模塊、獲取天氣信息的模塊及進(jìn)行實(shí)時(shí)搜索的模塊。每個(gè)模塊中的組件都具備特定的功能，并專門處理與之相關(guān)的任務(wù)。例如，當(dāng)需要回答關(guān)于天氣的問題時(shí)，機(jī)器人可以調(diào)用“搜索工具組件”來獲取天氣信息數(shù)據(jù)。

但是，單純的組件無法滿足機(jī)器人的整體運(yùn)作。為了確保組件之間可以協(xié)同工作并為用戶提供順暢的體驗(yàn)，需要用到LangChain的“鏈”來整合這些組件。例如，當(dāng)用戶詢問一個(gè)涉及多個(gè)組件的問題時(shí)，如“今天天氣怎么樣，同時(shí)告訴我量子力學(xué)是什么”，LangChain的鏈就可以確?！八阉鞴ぞ呓M件”和“維基百科查詢組件”協(xié)同工作，為用戶提供完整的回答。

具體來說，當(dāng)用戶提出問題時(shí)，LangChain提供的API允許機(jī)器人執(zhí)行以下操作：

（1）請(qǐng)求LLM解釋用戶的輸入，并根據(jù)輸入內(nèi)容生成對(duì)應(yīng)的查詢請(qǐng)求，這可能涉及一個(gè)或多個(gè)組件；

（2）根據(jù)生成的查詢請(qǐng)求，激活對(duì)應(yīng)的組件以獲取必要的數(shù)據(jù)或信息；

（3）利用LLM生成基于自然語言的回答，將各組件的返回結(jié)果整合為用戶可以理解的回答。

通過這種方式，開發(fā)者無須深入每一個(gè)復(fù)雜的處理細(xì)節(jié)，只需要利用LangChain的API輸入用戶的問題，并將得到的答案呈現(xiàn)給用戶即可。這不僅使聊天機(jī)器人能夠提供豐富的信息服務(wù)，還能確保LLM應(yīng)用自然而然地融入人們的日常生活，達(dá)到設(shè)計(jì)初衷。

LangChain的3個(gè)場景

LangChain正在重新定義LLM應(yīng)用的開發(fā)方式，尤其是在問答系統(tǒng)、數(shù)據(jù)處理與管理、自動(dòng)問答與客服機(jī)器人這3個(gè)場景下。以下是對(duì)LangChain在這3個(gè)場景下作用的分析。

第1個(gè)場景是問答系統(tǒng)。問答系統(tǒng)已經(jīng)成為許多LLM應(yīng)用的重要組成部分，從簡單的搜索工具到復(fù)雜的知識(shí)庫查詢工具。LangChain在這方面展現(xiàn)了其出色的能力。當(dāng)開發(fā)者面臨需要從長篇文章或特定數(shù)據(jù)源中提取信息的挑戰(zhàn)時(shí)，LangChain 可以輕松地與這些外部數(shù)據(jù)源交互，迅速提取關(guān)鍵信息，然后執(zhí)行生成操作，以生成準(zhǔn)確的回答。

第2個(gè)場景是數(shù)據(jù)處理與管理，如RAG。在數(shù)據(jù)驅(qū)動(dòng)的當(dāng)下，RAG成了一個(gè)非常熱門的LLM應(yīng)用落地方向。RAG結(jié)合了檢索和生成兩個(gè)階段，為用戶提供了更為精準(zhǔn)和富有深度的回答。LangChain采用了LEDVR工作流，實(shí)現(xiàn)了RAG的功能。

LEDVR工作流將數(shù)據(jù)處理的每一個(gè)步驟標(biāo)準(zhǔn)化，確保了數(shù)據(jù)從輸入到輸出的完整性和準(zhǔn)確性。首先，開發(fā)者會(huì)使用文檔加載器，如WebBaseLoader，從外部數(shù)據(jù)源導(dǎo)入所需的數(shù)據(jù)。這一步確保了數(shù)據(jù)的完整性和原始性。

接著，數(shù)據(jù)會(huì)被傳輸?shù)角度氚b器，如OpenAIEmbeddings中。這一步的主要目的是將每一份文檔轉(zhuǎn)化為一個(gè)能夠在機(jī)器學(xué)習(xí)模型中使用的向量。這個(gè)向量能夠捕獲文檔的主要特征，使得后續(xù)的處理更為高效。

為了更好地處理大量的數(shù)據(jù)，LangChain中引入了分塊轉(zhuǎn)化步驟。通過使用如RecursiveCharacterTextSplitter這樣的工具，文檔被切割成更小的數(shù)據(jù)塊。這不僅提高了處理速度，還使得每一個(gè)數(shù)據(jù)塊都能得到更為精準(zhǔn)的處理。

當(dāng)所有的數(shù)據(jù)塊都被處理完畢，它們會(huì)被存儲(chǔ)到向量存儲(chǔ)系統(tǒng)，如FAISS中。這個(gè)存儲(chǔ)系統(tǒng)能夠確保數(shù)據(jù)的安全，同時(shí)也能提供一個(gè)高效的查詢接口。

最后，檢索器（如ConversationalRetrievalChain）被用來從向量存儲(chǔ)系統(tǒng)中檢索相關(guān)的文檔。這一步結(jié)合了用戶查詢和向量存儲(chǔ)系統(tǒng)中的數(shù)據(jù)，為用戶提供了最為相關(guān)的回答。

第3個(gè)場景是自動(dòng)問答與客服機(jī)器人。在許多在線平臺(tái)上，客服機(jī)器人已經(jīng)成為用戶與公司之間的首要交互點(diǎn)。利用LangChain，開發(fā)者成功構(gòu)建了能夠?qū)崟r(shí)響應(yīng)用戶查詢的客服機(jī)器人。這種實(shí)時(shí)響應(yīng)得益于LangChain的Agent功能，其中涉及LLM決策，并根據(jù)反饋不斷優(yōu)化交互的過程。這樣的設(shè)計(jì)使客服機(jī)器人不僅能夠及時(shí)響應(yīng)，還能提供更加精確的信息或解決方案。

LangChain已經(jīng)在這3個(gè)關(guān)鍵場景中展現(xiàn)了強(qiáng)大的潛力，為開發(fā)者提供了實(shí)用且強(qiáng)大的工具，使開發(fā)者可以更加高效地實(shí)現(xiàn)各種開發(fā)需求。

LangChain的6大模塊

針對(duì)LLM應(yīng)用開發(fā)者的需求，LangChain推出了6大核心模塊。

如圖1所示，這些模塊覆蓋了從模型I/O到數(shù)據(jù)增強(qiáng)，從鏈到記憶，以及從Agent到回調(diào)處理器的全方位功能。

借助這些模塊中的包裝器和組件，開發(fā)者能夠更為方便地搭建LLM應(yīng)用。

圖1

1. 模型I/O（Model IO）：對(duì)于任何大語言模型應(yīng)用來說，其核心無疑都是模型自身。LangChain提供了與任何大語言模型均適配的模型包裝器（模型I/O的功能），分為LLM和聊天模型包裝器（Chat Model）。模型包裝器的提示詞模板功能使得開發(fā)者可以模板化、動(dòng)態(tài)選擇和管理模型輸入。LangChain自身并不提供大語言模型，而是提供統(tǒng)一的模型接口。模型包裝器這種包裝方式允許開發(fā)者與不同模型平臺(tái)底層的API進(jìn)行交互，從而簡化了大語言模型的調(diào)用，降低了開發(fā)者的學(xué)習(xí)成本。此外，其輸出解析器也能幫助開發(fā)者從模型輸出中提取所需的信息。

2. 數(shù)據(jù)增強(qiáng)（Data Connection）：許多LLM應(yīng)用需要的用戶特定數(shù)據(jù)并不在模型的訓(xùn)練集中。LangChain提供了加載、轉(zhuǎn)換、存儲(chǔ)和查詢數(shù)據(jù)的構(gòu)建塊。開發(fā)者可以利用文檔加載器從多個(gè)來源加載文檔，通過文檔轉(zhuǎn)換器進(jìn)行文檔切割、轉(zhuǎn)換等操作。矢量存儲(chǔ)和數(shù)據(jù)檢索工具則提供了對(duì)嵌入數(shù)據(jù)的存儲(chǔ)和查詢功能。

3. 鏈（Chain）：單獨(dú)使用LLM對(duì)于簡單應(yīng)用可能是足夠的，但面對(duì)復(fù)雜的應(yīng)用，往往需要將多個(gè)LLM模型包裝器或其他組件進(jìn)行鏈?zhǔn)竭B接。LangChain為此類“鏈?zhǔn)健睉?yīng)用提供了接口。

4. 記憶（Memory）：大部分的LLM應(yīng)用都有一個(gè)對(duì)話式的界面，能夠引用之前對(duì)話中的信息是至關(guān)重要的。LangChain提供了多種工具，幫助開發(fā)者為系統(tǒng)添加記憶功能。記憶功能可以獨(dú)立使用，也可以無縫集成到鏈中。記憶模塊需要支持兩個(gè)基本操作，即讀取和寫入。在每次運(yùn)行中，鏈?zhǔn)紫葟挠洃浤K中讀取數(shù)據(jù)，然后在執(zhí)行核心邏輯后將當(dāng)前運(yùn)行的輸入和輸出寫入記憶模塊，以供未來引用。

5.  Agent：核心思想是利用LLM選擇操作序列。在鏈中，操作序列是硬編碼的，而在Agent代理中，大語言模型被用作推理引擎，確定執(zhí)行哪些操作，以及它們的執(zhí)行順序。

6. 回調(diào)處理器（Callback）：LangChain提供了一個(gè)回調(diào)系統(tǒng)，允許開發(fā)者在LLM應(yīng)用的各個(gè)階段對(duì)狀態(tài)進(jìn)行干預(yù)。這對(duì)于日志記錄、監(jiān)視、流處理等任務(wù)非常有用。通過API提供的callbacks參數(shù)，開發(fā)者可以訂閱這些事件。

本文摘自《LangChain入門指南：構(gòu)建高可復(fù)用、可擴(kuò)展的LLM應(yīng)用程序》一書！

如果你想更多了解這門迅速發(fā)展的大模型技術(shù)框架，歡迎閱讀這本書~~

本書由LangChain中文網(wǎng)聯(lián)合創(chuàng)始人李特麗與創(chuàng)始人康軼文共同編著！

本書專門為那些對(duì)自然語言處理技術(shù)感興趣的讀者提供了系統(tǒng)的LLM應(yīng)用開發(fā)指南。

全書分為11章，從LLM基礎(chǔ)知識(shí)開始，通過LangChain這個(gè)開源框架為讀者解讀整個(gè)LLM應(yīng)用開發(fā)流程。

本書以LangChain這個(gè)讓人熟悉的框架為主線，引導(dǎo)讀者一步一步掌握LLM應(yīng)用開發(fā)流程，適合對(duì)大語言模型感興趣的開發(fā)者、AI應(yīng)用程序開發(fā)者閱讀。