最近國產(chǎn)大模型DeepSeek特別火,以至于頻繁出現(xiàn)反應遲緩甚至宕機的情況,和兩年多之前ChatGPT的遭遇頗為相似。
萬幸,DeepSeek是一個開源模型,我們大可以通過本地部署,在自己的終端上隨時使用!接下來就教大家具體的操作:
一、用Ollama下載模型
首先我們需要安裝Ollama,它可以在本地運行和管理大模型。
到Ollama官網(wǎng) https://ollama.com,點擊下載,然后選擇適合自己系統(tǒng)的版本,這里選擇Windows:
下載完成后點擊安裝,完成后安裝窗口會自動關閉,你的系統(tǒng)托盤圖標會出現(xiàn)一個常駐的Ollama標記:
接下來點擊Ollama官網(wǎng)左上方的“Models”按鈕,會列出支持的各種模型,目前最火的DeepSeek-R1排在顯眼位置,點擊進入主題頁面:
進入這個界面后,點擊下拉菜單,可以看到多個版本。我的主機是4090顯卡24G顯存,選擇32b版本(數(shù)字越大,對顯存要求越高):
選擇好模型之后,點擊右側這個按鈕,復制指令,這里是:ollama run deepseek-r1:32b
在Windows搜索欄輸入“cmd”回車,喚出命令行窗口:
黏貼運行剛才復制的命令,開始下載,32b模型容量大約19GB,請保持網(wǎng)絡暢通:
下載完成之后,就可以和DeepSeek對話了:
但是在命令行窗口下對話,還是太抽象,我們需要一個美觀的圖文交互界面。
二、安裝Docker
因此要用到Docker這個容器化平臺,先從官網(wǎng) https://www.docker.com 下載,這里依然選擇Windows版:
下載后安裝,選項全默認即可:
安裝完成需要重新啟動Windows:
重啟后需要同意Docker的條款,并注冊你的賬號:
三、安裝Open WebUI
接下來到Open WebUI這個開源工具的代碼頁:
https://github.com/open-webui/open-webui
找到“If Ollama is on your computer, use this command”這一項,點擊右邊的按鈕復制這個指令:
docker run -d -p 3000:8080 --add-host=host.docker.internal:host-gateway -v open-webui:/app/backend/data --name open-webui --restart always ghcr.io/open-webui/open-webui:main
再次打開命令行窗口,黏貼剛才復制的命令,安裝Open WebUI:
安裝完成后,你會發(fā)現(xiàn)你的Docker界面里多了Open WebUI的條目。
四、在圖形化界面下運行DeepSeek
還記得之前裝好的Ollama嗎?你需要在命令行窗口里再次執(zhí)行:ollama run deepseek-r1:32b
保持命令行窗口開啟,然后點擊Docker桌面端的這個位置:
首次使用,會打開一個網(wǎng)頁,點擊“開始使用”:
把你之前注冊的賬號名字密碼填進去,登錄:
這里點擊“確認,開始使用”:
圖形界面的DeepSeek-R1,準備就緒,隨時待命!
32b的反應速度很快,因為是R1模型,所以有深度思考功能:
更棒的是,還可以通過Open WebUI自帶的語音功能輸入,避免打字。方法是點擊右邊的“呼叫”按鈕:
DeepSeek會同時輸出文字和語音,雖然是機器人腔調(diào),但畢竟是官方也沒有的功能!
Enjoy!
文章提到的網(wǎng)址:
Ollama官網(wǎng):
https://ollama.com
Docker官網(wǎng):
https://www.docker.com
Open WebUI的代碼頁:
https://github.com/open-webui/open-webui
這是本公眾號第六十五篇推文,今后將長期分享AI聊天、AI繪畫、AI資訊,歡迎大家交流!