當(dāng)你在使用DeepSeek或其它AI時(shí),也許可能遇到這樣的問題:
?你的知識(shí)迭代 VS 模型訓(xùn)練進(jìn)度
'剛整理完行業(yè)前沿白皮書,卻發(fā)現(xiàn)DeepSeek還卡在半年前的版本斷層'
?數(shù)據(jù)絞刑架 VS 硬盤保險(xiǎn)箱
'把機(jī)密合同喂給AI?這和在推特公開裸奔有什么區(qū)別'
以上問題,可以通過使用DeepSeek構(gòu)建一個(gè)私有知識(shí)庫(kù)來解決。通過構(gòu)建知識(shí)庫(kù):
? 本地化模型實(shí)時(shí)吞噬新文檔,你的知識(shí)庫(kù)永遠(yuǎn)比大模型快一個(gè)版本周期
? 數(shù)據(jù)從不出本地硬盤,不用擔(dān)心數(shù)據(jù)系列
接下來,本文將介紹如何利用DeepSeek-R1模型的能力,借助Ollama與AnythingLLM兩個(gè)工具,實(shí)現(xiàn)個(gè)人知識(shí)庫(kù)的構(gòu)建。
1.Ollama本地部署DeepSeek-R1模型
訪問ollama官網(wǎng),點(diǎn)擊download。https://ollama.com/
根據(jù)電腦系統(tǒng)選擇相應(yīng)的版本。點(diǎn)擊下載。若下載速度過慢,可關(guān)注根根AI公眾號(hào)并回復(fù)“ollama”領(lǐng)取安裝包。
打開下載的安裝包,點(diǎn)擊“Install” ,等待Ollama安裝完成。
等待安裝完成后,按win+r鍵,輸入cmd調(diào)出命令行窗口。
輸入
ollama --version
按下回車后出現(xiàn)版本號(hào),即為安裝成功。
我們選擇推理能力更強(qiáng)的deepseek-r1模型進(jìn)行本地部署。小編的筆記本顯存為6G,因此選擇最小的1.5b模型進(jìn)行部署,如果顯存更大的話,可以選擇更大的模型。例如,選擇7b模型能得到更好的回復(fù),那么下面代碼中的“1.5b”就要改為“7b”。
在命令行窗口中輸入:
ollama run deepseek-r1:1.5b
按下回車,模型開始自動(dòng)下載。
模型下載成功后,自動(dòng)進(jìn)入對(duì)話模式,我們可以在這里跟模型進(jìn)行對(duì)話。
至此,恭喜你已經(jīng)完成了deepseek-r1模型的本地部署。
2.AnythingLLM的下載與使用
(1)下載AnythingLLM
首先進(jìn)入AnythingLLM的官網(wǎng)https://anythingllm.com/,點(diǎn)擊“Download for desktop”。
根據(jù)電腦系統(tǒng),選擇合適的版本進(jìn)行下載。注意,頁面中提示由于最近的DDOS事件,可能導(dǎo)致下載鏈接不可用。若無法下載,可關(guān)注根根AI公眾號(hào),回復(fù)“AnythingLLM”領(lǐng)取資源。
打開下載好的安裝包,選擇“僅為我安裝”與安裝路徑,軟件將會(huì)自動(dòng)安裝。
安裝過程中,可能會(huì)出現(xiàn)以下錯(cuò)誤。已經(jīng)成功安裝Ollama后,此錯(cuò)誤可不予理會(huì)。
(2)AnythingLLM的配置
進(jìn)入AnythingLLM后,點(diǎn)擊Get started,開始使用。
選擇模型提供為“Ollama”,選擇模型為“deepseek-r1:1.5b”或其它已經(jīng)下載好的模型,點(diǎn)擊下一步箭頭。
后面可跳過郵箱注冊(cè)步驟,點(diǎn)擊下一步箭頭,新建工作區(qū),設(shè)置一個(gè)工作區(qū)名稱,繼續(xù)點(diǎn)擊下一步。
首先點(diǎn)擊左下角的小扳手,打開設(shè)置,找到 人工智能提供商 -> Embedder首選項(xiàng),選擇嵌入引擎提供商為Ollama,模型選擇為deepseek-r1:1.5b,最后點(diǎn)擊保存更改。點(diǎn)擊左下角的返回鍵(原來小扳手的位置),返回首頁。
接下來將會(huì)進(jìn)入AnythingLLM主頁,點(diǎn)擊剛才設(shè)置的工作區(qū),即可進(jìn)入對(duì)話。
點(diǎn)擊工作區(qū)中的上傳標(biāo)識(shí),即可上傳文件。
第一步,點(diǎn)擊或拖拽上傳文件。我們?cè)谶@里上傳了兩篇公眾號(hào)的文章、DeepSeek的兩篇相關(guān)論文、一份變電站的相關(guān)書籍、一份關(guān)于Java的QA問答對(duì)。
第二步,選擇想要上傳到工作區(qū)的文件。我們?cè)谶@里選擇兩篇跟Word接入DeepSeek相關(guān)的兩篇公眾號(hào)文章。在這里選擇文件時(shí)要注意,由于本地部署的模型較小,檢索能力沒有那么強(qiáng)大,因此盡量選擇與工作區(qū)內(nèi)容相關(guān)的文檔進(jìn)行上傳。內(nèi)容不相似的文檔可以新建多個(gè)工作區(qū)。
第三步,點(diǎn)擊“Move to Workspace”將文件移動(dòng)到工作區(qū)。
移動(dòng)完成后,點(diǎn)擊“Save and Embed”。若文件較大,此步驟會(huì)消耗較長(zhǎng)的時(shí)間。
等待上傳成功后,即可開始對(duì)話。
3.效果測(cè)試
(1)根據(jù)文檔回答問題
告訴DeepSeek'總結(jié)資料,如何將DeepSeek接入Word',DeepSeek能夠按照文檔的內(nèi)容進(jìn)行總結(jié),生成輸出,但DeepSeek目前暫時(shí)還無法解析圖片,因此只能根據(jù)文檔內(nèi)的文本內(nèi)容做出回答。
(2)根據(jù)《傷寒雜病論》做出診斷
首先,新建一個(gè)工作區(qū),將txt格式的《傷寒雜病論》作為資料上傳。
向DeepSeek提問“我現(xiàn)在腹痛難忍,請(qǐng)告訴我如何用藥”,DeepSeek按照傷寒雜病論中的內(nèi)容,告訴我應(yīng)該使用“柴胡桂枝湯”,并給出了具體的配方。
(3)數(shù)據(jù)分析
新建一個(gè)工作區(qū),并將一份變電站的各個(gè)指標(biāo)的變化數(shù)據(jù)上傳,接下來需要DeepSeek來分析表內(nèi)某一個(gè)時(shí)間段的數(shù)據(jù)。我們可以通過AI,直接對(duì)表格數(shù)據(jù)進(jìn)行分析。
聯(lián)系客服