接上文ollama實現(xiàn)本地化大模型部署。或許小伙伴們并不能滿足使用命令行對話的交互方式,那么,可以選擇搭配anythingLLM進(jìn)行功能拓展。
本文將介紹如何使用ollama和anythingLLM快速搭建部署本地知識庫,全程零代碼、僅需要個人筆記本電腦即可實現(xiàn)。工具簡介
AnythingLLM是一款由Mintplex Labs, Inc開發(fā)的開源的一體化AI工具,可實現(xiàn) RAG(Retrieval-Augmented Generation,檢索增強(qiáng)生成)、AI 代理等功能。簡單易用,功能強(qiáng)大,全程零代碼配置,對硬件要求不高。
??Windows 桌面端下載地址:
https://useanything.com/download
下面將詳細(xì)講解搭建過程,其中,ollama桌面端的安裝和模型下載方法可參考上篇文章,在此不過多贅述。
??ollama入門教程傳送門:
https://mp.weixin.qq.com/s/cryo65AXAdeTlfQHWaNu5A具體步驟
01
按照默認(rèn)配置安裝anythingLLM
跳過初始化配置,進(jìn)入主頁。
02
選取和配置大模型,連接使用ollama
當(dāng)然,也可直接anythingLLM中直接下載和使用可提供支持的大模型,這里選擇使用ollama負(fù)責(zé)模型的下載管理。需要注意的是,在連接ollama之前,需要先運(yùn)行和啟動ollama服務(wù),并提前下載好大模型,這里事先已經(jīng)拉取了llama2-chinese、llama3和qwen,因此出現(xiàn)在下拉列表中。在這里,我們選擇使用llama2-chinese模型。
03
選擇配置embedding模型
在Embedding Provider中,選擇默認(rèn)的AnythingLLM Embedder。
備注:也可用ollama自行選擇拉取embedding模型。
04
選擇向量數(shù)據(jù)庫
05
返回主頁,新建工作區(qū)
06
配置知識庫
為便于知識庫分類管理,建立一個新的文件夾。
點擊文件上傳。當(dāng)然,anythingLLM也支持在線網(wǎng)頁解析,在此不做細(xì)表。
點擊剛上傳的文檔,選擇“Move to Workspace”,并選擇“Save and Embed”。
功能測試
對比可以看到,回答結(jié)果基本正確。結(jié)語以上就是使用ollama+anythingLLM快速搭建部署本地知識庫的方法,歡迎大家選取自己感興趣的大模型進(jìn)行嘗試??傮w來說,anythingLLM功能全面、強(qiáng)大,可以滿足大部分用戶的需求,上手簡單,交互友好。
END