最近很多朋友都在問:怎么本地部署 DeepSeek 搭建個人知識庫。
老實說,如果你不是為了研究技術(shù),或者確實需要保護(hù)涉密數(shù)據(jù),我真不建議去折騰本地部署。
為什么呢?
目前 Ollama 從 1.5B 到 70B 都只是把 R1 的推理能力提煉到 Qwen 和 Llama 的蒸餾版本上。
雖說性能是提升了不少,但跟原汁原味的 R1 模型比起來,還是差太多了。
官方的滿血版本可是 671B 的參數(shù)量,說實話,對普通人來說想本地部署,這成本確實太高了。
不過我最近發(fā)現(xiàn)了一個平臺,不僅能用上 R1 本 1,還提供了不少免費額度。
此外,為了讓擁有算力的朋友可以本地部署,我也提供了相關(guān)教程。
看完全文,你會收獲:
1、滿血 DeepSeek R1 模型 API 搭建方式
2、本地部署 DeepSeek R1 模型 搭建方式
來看幾個使用案例:如何借助 個人知識庫文件 作為外腦,用方法論指導(dǎo)我們正確做事?
DeepSeek 確實很好用,但關(guān)鍵還是會不會提問。如果不會提問,AI 再強(qiáng)也幫不上忙。
除了花時間學(xué)習(xí)提示詞,更快的方式是本地備一份提問指南,讓 AI 指導(dǎo)你該怎么正確提問,這樣才能真正發(fā)揮它的價值!
AI 借助知識庫內(nèi)的 DeepSeek 指導(dǎo)手冊,預(yù)判了我可能想問的問題,以及建議的正確提示詞格式。
從回答中可以發(fā)現(xiàn),AI 不是依據(jù)自身語料庫回復(fù),而是基于知識庫內(nèi)容回復(fù)。
當(dāng)然,我們也可以直接提問,精準(zhǔn)搜索知識庫的原始信息,從而達(dá)到快速查詢的效果。
如果本地數(shù)據(jù)不涉密,還想獲得最佳使用效果,那肯定得選滿血的 DeepSeek R1 模型。
我們來看看怎么利用 API 用上滿血的 R1 模型(671 B)。
1、先下載一個叫 Cherry Studio 的軟件。
地址: https://cherry-ai.com/download
2、登錄/注冊「硅基流動」,新用戶會贈送 2000 萬 Token 額度。
地址:https://cloud.siliconflow.cn/i/TAAOvaXg
3、來到 API 密鑰生成界面,創(chuàng)建或者復(fù)制已有的密鑰。
4、來到 Cherry Studio,配置 API Key。
5、在模型廣場首頁,排在前兩位的就是「硅基流動」和「華為云」合作發(fā)布的 DeepSeek R1 / V3 模型。
如果需要推理能力,記得打開并復(fù)制 R1 模型的名稱。
6、在模型服務(wù)的硅基流動下方,添加 R1 模型。
7、記得點擊檢查,測試下 API 是否可以正常訪問。
8、現(xiàn)在對話模型有了 R1,還缺少一個嵌入模型。
嵌入模型的主要作用是將本地文件的內(nèi)容轉(zhuǎn)換成有意義的數(shù)字,存儲到向量數(shù)據(jù)庫中。
在用戶提問時,利用 RAG 技術(shù)在數(shù)據(jù)庫中搜索到相似答案,最終回復(fù)用戶。
過去我有通俗解釋過 RAG 技術(shù),大家如果不了解,可以回頭看下:一文通俗講透 RAG 背后的邏輯,讓 AI 回答更精準(zhǔn)!
我們再配置一個向量模型:BAAI/bge-m3。如果希望搜索的精準(zhǔn)度更高,可以選擇 Pro/BAAI/bge-m3。
按照同樣的方式配置到 Cherry Studio 中,這里不需要點擊檢查。
9、在 Cherry Studio 創(chuàng)建知識庫,選擇剛才配置的嵌入模型,這樣就會自動利用對應(yīng)的模型來向量化數(shù)據(jù)。
10、上傳本地文件進(jìn)行向量化。
如果本地 PDF 文件是 掃描件、手寫件,或者帶有復(fù)雜的表格 和 數(shù)學(xué)公式,解析效果會很差,甚至無法解析。
遇到這種情況,建議配合過去我介紹的 PDF 轉(zhuǎn)結(jié)構(gòu)化文檔 的方案來使用?。。?/span>
這樣才可以正?;貜?fù)知識庫的內(nèi)容:免費AI神器!精準(zhǔn)解析 PDF 還能一鍵翻譯!
如果追求性價比,推薦使用 Doc2x:https://doc2x.noedgeai.com?inviteCode=4A6KOD
如果希望更加穩(wěn)定,那么可以考慮 Textin :https://www.textin.com/market/detail/pdf_to_markdown
當(dāng)我們上傳文件后,箭頭指向的圖標(biāo)如圖所示,則代表向量化成功。
11、測試使用,這一步添加助手,并選擇剛配置的 滿血 R1 模型。
如果不想每次在添加助手時選擇模型,可以將它設(shè)置為 默認(rèn)模型。
我們來測試一下,發(fā)現(xiàn) DeepSeek 已經(jīng)開始深度思考了。
AI 回復(fù)的答案和原文一致。
原文內(nèi)容:
如果只是想 簡單體驗,或者本地算力充足、希望保護(hù)數(shù)據(jù)安全,那么可以考慮 本地部署 的方案。
1、訪問 Ollama 官方地址:https://ollama.com/download,下載軟件。
建議下載最新版本 Ollama,個人踩坑經(jīng)歷:舊版本安裝 R1 后可能無法正常使用。
2、雙擊運(yùn)行 Ollama 后,打開命令行,運(yùn)行需要安裝的模型(參數(shù)越大,顯存要求越高)。
地址:https://ollama.com/library/deepseek-r1
如果沒有 GPU,建議選擇 1.5B,運(yùn)行相對輕量。我這 4G 顯存 勉強(qiáng)能跑 8B,但速度較慢。
有朋友用 RTX 4090 測試 32B,效果和速度都不錯。大家可以參考這個梯度,根據(jù)自己的硬件選擇合適的模型。。
下載并運(yùn)行成功后,就可以和 DeepSeek R1 對話啦。
3、當(dāng)然,我們可以用 Cherry Studio 作為本地 R1 模型的 UI 界面。
打開軟件的配置,選擇 Ollama,在管理按鈕中選擇自己部署的模型。
如果選不到,就手動添加模型,API 秘鑰填不填無所謂。
最后點擊檢查,測試下網(wǎng)絡(luò)連通性,出現(xiàn)連接成功即可。
接下來就可以在添加助手時,選擇本地部署的 R1 模型啦。
4、再測試使用一下,答案與原文一致,搞定 ~
因為我用的是 Mac,所以沒測試 Windows 設(shè)備。不過兩者區(qū)別不大,大家可以自行嘗試下。
看到這里,相信你已經(jīng)找到最適合自己的 DeepSeek 個人知識庫方案了。
如果你和大多數(shù)人一樣,選擇使用官方 API ,那就不用再為性能和本地硬件資源發(fā)愁;
如果你恰好有充足的算力和技術(shù)儲備,本地部署也是個不錯的選擇。
不過,在整個過程中,我想和你分享的不僅僅是這些技術(shù)細(xì)節(jié)。
而是一個中國團(tuán)隊能做出世界級大模型,一個需要 86 才能注冊的大模型。
很慶幸,我們能作為中國 AI 技術(shù)進(jìn)步的見證人。
當(dāng)然,暫時的領(lǐng)先不是終點。
但 DeepSeek 給我們帶來的,是“中國也可以”這份信心。
這,才是我們真正要守護(hù)的希望。
我是 ?? 熊貓 Jay,希望本次分享能有所幫助。