本教程所用到的軟件包+deepseek使用技巧資源包獲取方式:
Ollama 支持 Linux/macOS/Windows,需根據(jù)系統(tǒng)選擇安裝方式?!?/p>
適用系統(tǒng):Ubuntu/Debian/CentOS 等
步驟:
一鍵安裝:
curl -fsSL https://ollama.com/install.sh | sh
權(quán)限配置(避免 sudo 運行):
sudo usermod -aG ollama $USER # 將當前用戶加入ollama組
newgrp ollama # 刷新用戶組
啟動服務(wù):
systemctl start ollama # 啟動服務(wù)
systemctl enable ollama # 開機自啟
驗證安裝:
ollama --version # 輸出版本號即成功
步驟:
一鍵安裝:
curl -fsSL https://ollama.com/install.sh | sh
啟動服務(wù):
ollama serve # 前臺運行(調(diào)試用)
或通過 Launchd 后臺服務(wù):
brew services start ollama # 通過Homebrew管理
前置要求:
Windows 10/11 64位
已安裝 WSL2(推薦Ubuntu發(fā)行版)
步驟:
下載安裝包:Ollama Windows Installer
下載后進行雙擊安裝
驗證安裝:
ollama list # 查看已安裝模型
默認情況下,Ollama 服務(wù)僅在本地運行,不對外提供服務(wù)。要使 Ollama 服務(wù)能夠?qū)ν馓峁┓?wù),你需要設(shè)置以下兩個環(huán)境變量:
如果 Ollama 作為 systemd 服務(wù)運行,應(yīng)使用 systemctl 設(shè)置環(huán)境變量:
調(diào)用 systemctl edit ollama.service 編輯 systemd 服務(wù)配置。這將打開一個編輯器。
在 [Service] 部分下為每個環(huán)境變量添加一行 Environment:
[Service]
Environment="OLLAMA_HOST=0.0.0.0"
Environment="OLLAMA_ORIGINS=*"
重新加載 systemd 并重啟 Ollama:
systemctl daemon-reload
systemctl restart ollama
官方模型庫參考:Ollama DeepSeek-R1 頁面
ollama pull deepseek-r1 # 官方推薦模型名稱
模型規(guī)格選項(按需選擇):
ollama pull deepseek-r1:7b # 7B參數(shù)基礎(chǔ)版
ollama pull deepseek-r1:33b # 33B參數(shù)進階版(需更高顯存)
ollama run deepseek-r1
驗證交互:
>>> 你好,請用中文回答
你好!我是DeepSeek-R1,很高興為您提供幫助!
根據(jù)硬件資源選擇運行模式:
適用情況:無獨立顯卡或顯存不足
配置優(yōu)化:
限制線程數(shù)(避免資源耗盡):
OLLAMA_NUM_THREADS=4 ollama run deepseek-r1 # 限制4線程
使用量化模型(減少內(nèi)存占用):
ollama pull deepseek-r1:7b-q4_0 # 4-bit量化版
內(nèi)存要求:
7B模型:至少8GB空閑內(nèi)存
33B模型:至少32GB空閑內(nèi)存
適用情況:有NVIDIA顯卡(需CUDA支持)
配置步驟:
安裝驅(qū)動:
安裝 NVIDIA驅(qū)動 和 CUDA Toolkit 12.x
啟用GPU加速:
ollama run deepseek-r1 --gpu # 強制使用GPU
顯存要求:
7B模型:至少6GB顯存
33B模型:至少20GB顯存
性能監(jiān)控:
nvidia-smi # 查看GPU利用率
docker run -d \
--name=maxkb \
-p 8080:8080 \
-v ~/maxkb_data:/var/lib/postgresql/data \
1panel/maxkb:latest
訪問 http://localhost:8080,默認賬號密碼 admin/MaxKB@123..
進入MaxKB控制臺:模型管理 > 添加模型
填寫參數(shù):
模型類型:Ollama
模型名稱:DeepSeek-r1
Base URL:http://ollama主機ip:11434(Docker內(nèi)訪問宿主機)
模型名稱:deepseek-r1(與Ollama拉取的模型名一致)
訪問 GitHub Releases 頁面:ChatBox Releases!ChatBox Releases頁面
選擇 Windows 版本:
運行安裝程序:
雙擊下載的 .exe 文件,按提示完成安裝。
確保 Ollama 服務(wù)已運行。
在 ChatBox 設(shè)置中選擇 **ollama api**,填寫:
API Endpoint: http://localhost:11434
API Key: 留空
Model Name: deepseek-r1(與 Ollama 模型名稱一致)
日志查看:
journalctl -u ollama -f # Linux
端口沖突:修改Ollama端口:
OLLAMA_HOST=0.0.0.0:11435 ollama serve # 指定新端口
重新初始化:
ollama rm deepseek-r1 && ollama pull deepseek-r1
檢查網(wǎng)絡(luò):
curl http://ollama-ip:11434 # 確認Ollama API可達
跨域問題:在Ollama啟動時添加:
OLLAMA_ORIGINS="*" ollama serve
場景 | 推薦配置 |
CPU模式 | 使用 |
GPU模式 | 啟用 |
我使用zabbix+grafana對服務(wù)器做了資源使用情況的監(jiān)控,因為我的服務(wù)器沒有GPU,全部使用CPU去跑,當我運行大模型的時候,可以看到服務(wù)器資源站喲比較高(目前我測試用的的Deepseek-r1:7b)