1 Ollama PC本地化部署
1.1 下載Ollama
https://ollama.com/
目前Ollama支持macOS、Linux、Windows,選擇相應(yīng)的系統(tǒng),macOS和Windows直接下載,Linux系統(tǒng)需要執(zhí)行下面命令:
curl -fsSL https://ollama.com/install.sh | sh |
榮姐這次選擇Windows本地下載,直接安裝即可。
1.2 選擇模型
點(diǎn)擊Models,第一條就是deepseek-r1模型。或者搜索框輸入模型名稱進(jìn)行搜索。
點(diǎn)擊進(jìn)去后,查看各個(gè)模型,不同模型執(zhí)行的命令不同,最后部分看你選擇的參數(shù)模型。
7b命令:ollama run deepseek-r1:7b
1.5b命令:ollama run deepseek-r1:1.5b
DeepSeek R1提供多個(gè)版本,參數(shù)量越大,模型通常越強(qiáng)大,但也需要更多的計(jì)算資源。
比如1.5B代表有15億個(gè)參數(shù)。
具體選擇哪一個(gè)看你硬件設(shè)備了。
1.3 運(yùn)行命令
榮姐用的電腦配置不高,選了1.5b。如果你配置高,可以選擇更大的,畢竟越大效果越好。
1.4 效果測(cè)試
當(dāng)界面出現(xiàn)success顯示安裝成功。
輸入你是誰(shuí),看到deepseek的回答。
實(shí)操演示視頻:
2 DeepSeek+Chatbox網(wǎng)頁(yè)端
本地命令行使用還是不太直觀,可以選擇Chatbox進(jìn)行網(wǎng)頁(yè)端訪問(wèn),提高可交互性。
Chatbox AI 是一款 AI 客戶端應(yīng)用和智能助手,支持眾多先進(jìn)的 AI 模型和 API,可在 Windows、MacOS、Android、iOS、Linux 和網(wǎng)頁(yè)版上使用。
本地使用Ollama部署完成后,可以使用Chatbox進(jìn)行調(diào)用。
根據(jù)官方文檔給出的步驟進(jìn)行配置
https://chatboxai.app/zh/help-center/connect-chatbox-remote-ollama-service-guide
2.1 環(huán)境變量配置
默認(rèn)情況下,Ollama 服務(wù)僅在本地運(yùn)行,不對(duì)外提供服務(wù)。
要使 Ollama 服務(wù)能夠?qū)ν馓峁┓?wù),你需要設(shè)置以下兩個(gè)環(huán)境變量:
OLLAMA_HOST:0.0.0.0
OLLAMA_ORIGINS:*
在 Windows 上,Ollama 會(huì)繼承你的用戶和系統(tǒng)環(huán)境變量。
1、通過(guò)任務(wù)欄退出 Ollama。
2、打開設(shè)置(Windows 11)或控制面板(Windows 10),并搜索“環(huán)境變量”。
3、點(diǎn)擊編輯你賬戶的環(huán)境變量。
4、為你的用戶賬戶編輯或創(chuàng)建新的變量 OLLAMA_HOST,值為 0.0.0.0; 為你的用戶賬戶編輯或創(chuàng)建新的變量 OLLAMA_ORIGINS,值為 *。
5、點(diǎn)擊確定/應(yīng)用以保存設(shè)置。
6、從 Windows 開始菜單啟動(dòng) Ollama 應(yīng)用程序。
2.2 chatbox設(shè)置
1、打開官網(wǎng):https://chatboxai.app/zh,選擇啟動(dòng)網(wǎng)頁(yè)版。
2、選擇本地模型,如果找不到,點(diǎn)擊左側(cè)的設(shè)置按鈕。
3、選擇Ollama API。
4、選擇模型,本地運(yùn)行Ollama后會(huì)自動(dòng)出現(xiàn)模型的選項(xiàng),直接選擇即可。
5、點(diǎn)擊DISPLAY,選擇簡(jiǎn)體中文,點(diǎn)擊保存按鈕。
6、在聊天窗口輸入問(wèn)題進(jìn)行測(cè)試。
2.3 搭配GPTs使用
1、點(diǎn)擊左側(cè)我的搭檔
2、選擇一個(gè)你喜歡的應(yīng)用,本示例選擇夸夸機(jī)2.0
3、隨便輸入一個(gè)場(chǎng)景,看看大模型的回答。比如自嘲、尷尬、夸張的場(chǎng)景,看看他怎么花樣夸你。
實(shí)操演示視頻:
3 DeepSeek知識(shí)庫(kù)搭建
我們還可以通過(guò)瀏覽器插件來(lái)訪問(wèn)本地部署的大模型,這個(gè)插件還支持本地知識(shí)庫(kù)搭建。
1、安裝插件Page Assist,搜索插件后添加至Chrome
2、選擇本地搭建的模型,點(diǎn)擊配置按鈕,設(shè)置中文
3、RAG設(shè)置,模型選擇本地搭建的。
4、點(diǎn)擊左側(cè)管理知識(shí),可以添加本地知識(shí)庫(kù)。
填寫知識(shí)標(biāo)題及上傳文件,點(diǎn)擊提交按鈕。
狀態(tài)為已完成就可以使用了。
新建聊天進(jìn)行測(cè)試,在聊天窗口要記得點(diǎn)擊右下角知識(shí),選擇剛才搭建的知識(shí)庫(kù)名稱,然后在上方看到就可以了。
對(duì)模型進(jìn)行測(cè)試,看看是否可以根據(jù)知識(shí)庫(kù)進(jìn)行回答。
聯(lián)系客服