蛇年最大的信息差就是 deepseek,所以我在本地也部署了 deepseek
沒什么華麗的技巧,非常簡(jiǎn)單易懂。
這里給大家分享一下
第?步,安裝 ollama
Ollama 是?個(gè)本地運(yùn)??語(yǔ)?模型(LLM)的?具,?持 DeepSeek、Llama、Mistral 等開源 AI 模型,允許用戶在本地推理和交互。能夠提供?效的模型管理、輕量級(jí) API,并?持CPU 和 GPU 加速。相?云端 API,Ollama 更安全、可離線運(yùn)?,
適?于本地開發(fā)、私有數(shù)據(jù)處理和 AI 應(yīng)?開發(fā)。
下載地址:
https://ollama.com/download/mac
我本機(jī)是 macOS,如果你是 Windows,下載 Windows 版本就可以了。 下macOS 是不需要安裝的,雙擊就可以解壓,
雙擊。 就完成了 ollama 的運(yùn)?,注意沒有任何界?。
可以在導(dǎo)航欄看到這個(gè)可愛的?圖標(biāo),就表示Ollama已經(jīng)成功運(yùn)?
也可以在瀏覽器輸?http://localhost:11434/ ,查看運(yùn)?狀態(tài)。
第?步,拉取deepseek-r1 模型
DeepSeek-R1 是 DeepSeek 團(tuán)隊(duì)推出的?款開源、?持 128K ??本上下?的 Transformer ?語(yǔ)?模型,在代碼?成、數(shù)學(xué)推理等任務(wù)上表現(xiàn)出?。ollama ?持 deepseek 的全尺?版本,?如說 1.5b、7b、8b、14b 等,本地建議安裝 7b 版本,體積??最合適。
然后在控制臺(tái)輸?ollama run deepseek-r1:7b運(yùn)?,我家的?速很?般,這?拉取模型花了不少時(shí)間。截圖這會(huì)有 2.5M/s,但不是很穩(wěn)定,慢的時(shí)候只有 300 多 kb,所以這?步需要花時(shí)間耐?等?下。
我差不多是花了?個(gè)晚上才搞定,截圖都到第?天了,?常消耗耐?。
等 deepseek 拉取完成后,就可以在控制臺(tái)進(jìn)?交互了,直接輸??本進(jìn)?提問就可以了。
第三步,安裝anythingllm
AnythingLLM 是?個(gè)開源的本地 LLM(?語(yǔ)?模型)管理和知識(shí)庫(kù)平臺(tái),可以讓?戶輕松將?檔、??、數(shù)據(jù)庫(kù)等數(shù)據(jù)接?到本地或遠(yuǎn)程?模型(如 Ollama、GPT、DeepSeek 等),實(shí)現(xiàn)?定義的 AI 助?。它支持多數(shù)據(jù)源整合、私有化部署,并提供 Web 界? 和 API,適?于企業(yè)知識(shí)管理、?動(dòng)化客服、AI 輔助研究等場(chǎng)景。
我這?已經(jīng)配置好了PDF 知識(shí)庫(kù),如果你是第?次運(yùn)?,需要在啟動(dòng)過程中選擇 ollama。
也就是我們前?搭建好的 deepseek-r1,在設(shè)置界?這?也可以配置。
如果想投喂知識(shí)庫(kù),直接在?作區(qū)這?點(diǎn)擊【上傳】?圖標(biāo),在彈出的窗?中選擇需要上傳的?件
我這?已經(jīng)上傳過了,你還可以通過??的形式,或者 GitHub 倉(cāng)庫(kù)的形式給 deepseek 投喂數(shù)據(jù)。
?如說,我這?選擇投喂了?哥的 Java 進(jìn)階之路 GitHub 倉(cāng)庫(kù)。
完事后,我們就可以在聊天窗??進(jìn)?提問了,?如我問“對(duì)象創(chuàng)建的過程了解嗎?”
就可以通過 deepseek 進(jìn)?推理回答了??梢钥吹酵评磉^程,以及結(jié)果。
我們還可以在設(shè)置這?配置查詢還是聊天模式,查詢模式的話,就是主要基于知識(shí)庫(kù)給出結(jié)果,聊天的話,如果你問的數(shù)據(jù)在知識(shí)庫(kù)中是沒有的,?模型可能會(huì)胡編亂造?寫給你,這??定要注意。
蛇年,最?的主題就是 deepseek,這段時(shí)間,?上鋪天蓋地都是 deepseek 的信息,甚?割?菜的,希望?家不
要成為?具的受害者。
其實(shí),對(duì)于我們普通?來說,壓根不?去買課,就能搭建?套屬于??的本地知識(shí)庫(kù),還非常簡(jiǎn)單。
聯(lián)系客服