這兩天deepseek-R1在春節(jié)刷屏了，他用較低的成本復(fù)現(xiàn)了Open Ai O1推理模型的效果，把本來OpenAi唔得死死的秘密給公開了。更加厲害的是他還開源了，讓每個人都有機會做出O1這樣的產(chǎn)品，真是太炸裂了。
現(xiàn)在DeepSeek推理模型這么火，并且最近由于黑客攻擊也經(jīng)常崩，那我們就來建一個本地的推理大模型吧，趁春節(jié)假期趕緊學(xué)起來。
我介紹的內(nèi)容不需要有任何技術(shù)知識、也不需要有開發(fā)經(jīng)驗，全部通過軟件操作和命令行來完成（復(fù)制黏貼，搬磚大法）。
先說一下電腦硬件要求，如果要順暢的運行建議是以下的配置。
不過也不用擔(dān)心，我們只是使用大模型而不是做微調(diào)和訓(xùn)練，所以硬件只要滿足最低要求就行了。實際使用下來我的Mac電腦，16G內(nèi)存、集成顯卡也能運行起來也挺順暢的。
將來要微調(diào)、訓(xùn)練模型我們再考慮是否要升級電腦或者租用云環(huán)境。
這次安裝要用到兩個工具Docker和Ollama這兩個容器，什么叫容器呢？就是你的應(yīng)用程序和模型運行的環(huán)境。
1）Docker容器：是一個開源的容器引擎，你的應(yīng)用只要安裝一次就能在各種平臺上運行。在這里我們用它來運行WebUI這個大模型的前端操作界面。
2）Ollama：是一個開源的AI工具平臺，他可以托管很多的大模型在本地運行，支持模型的任意切換。
容器的好處，就是你不用安裝一堆pip、Conda這類python包管理工具，也不用把你本地環(huán)境變量改的亂七八糟，更不用把程序和模型安裝的到處都是占用資源。這些他都幫你管了，你部署即用非常的方便。
下面我們就開始玩大模型吧，對了，有個重要的事情提前說下
你需要提前準(zhǔn)備梯子，安裝過程中你的梯子必須保持網(wǎng)絡(luò)通暢。
你需要去訪問“https://ollama.com/”去下載Ollama的客戶端，他現(xiàn)在支持“Linux、MacOs、Windows”，根據(jù)你電腦的操作系統(tǒng)選擇下載即可。（我用的是Mac）
載到本地后安裝ollama應(yīng)用（過程比較簡單，一路默認(rèn)就行了），安裝完成后你可以在系統(tǒng)托盤中找到Ollama圖標(biāo)，說明他已經(jīng)運行了（他沒有圖形界面，用命令行運行）
Ollama運行后我們就要去下載deepseek-R1模型了，我們還是官網(wǎng)選擇Modle這里有很多的大模型可供選擇，deepseek-R1排在了首位，我們直接點擊進入主題。
進入主題后我們可以看到deepseek提供了很多的版本（數(shù)字越大，對顯卡的顯存要求越高），我的電腦是Mac用的集成顯卡，所以我們選一個小版本的7B下載，有4090顯卡的土豪同學(xué)隨意。
模型安裝后，我們復(fù)制指令用來在本地運行deepseek。
運行命令
ollama run deepseek-r1:7b
下面我們打開終端運行上面的命令，如果是第一次使用該模型，Ollama回去其網(wǎng)站下載后再運行。如果本地已經(jīng)下載了，大模型就直接運行起來了。
輸入幾句話試了下，他確實很快就回復(fù)我，看來安裝的沒問題。
命令行交互太不友好了，我們來裝一個操作界面。這里我選擇的是WebUI，我們把他放到Docker這個容器里來管理，不用安裝python的包管理工具，也不用到處找你程序安裝在哪里了，他都幫你管了。
先從官網(wǎng) https://www.docker.com 下載，選擇你合適你操作系統(tǒng)的版本就行了，下載后直接安裝就行了（按操作執(zhí)行即可，這里不贅述了）
安裝后運行Docker環(huán)境就能啟動Docker，他不僅是系統(tǒng)托盤有個“小鯨魚”圖標(biāo)，同時他也有界面，你可以看到Docker中安裝了哪些應(yīng)用程序。
Docker裝好后我們來運行WebUI界面，方法也和安裝模型一樣，你可以訪問WebUI在GitHub上的地址來獲取命令。
訪問這個地址：https://github.com/open-webui/open-webui
我們直接讓他在Docker上運行，選擇“If Ollama is on your computer, use this command”
啟動WebUI你先要確保ollama中的deepseek處于運行狀態(tài)，你如果不小心關(guān)閉了可以使用以下命令重新啟動，并且不要關(guān)閉這個窗口。
啟動deepseek命令
ollama run ;deepseek-r1:7b
點擊Docker中上圖的鏈接就能打開WebUI的界面也可以在瀏覽器輸入“http://localhost:3000/”進入WebUI了。
04、使用DeepSeek
4.1、WebUI主要功能
WebUI的功能還是非常強大的，除了做基本問答以外，他支持模型切換，文件上傳等功能，甚至還支持語音輸入和人機對話。
4.2、DeepSeek問答能力
雖然只有7B的小模型，通過推理給出的內(nèi)容確實比較詳細(xì)，不過生成速度較慢（應(yīng)該是我電腦的原因），當(dāng)然與官網(wǎng)的671B比詳細(xì)程度要略遜一籌，不過這也正常畢竟只是7B的小模型。
4.3、推理與傳統(tǒng)問答比較
我們和同樣大小的qwen7B來比較下，擁有推理能力和傳統(tǒng)問答模型有什么區(qū)別。DeepSeek經(jīng)過推理洋洋灑灑的回答了十幾條，而千問回答的則非常簡單。果然有沒有推理能力差別確實很大。
4.4、文件和圖片分析
下面來看下他的文件分析能力和圖片識別能力。在文件分析和概括方面挺不錯的通讀了全文，并且對內(nèi)容進行忠實的還原和總結(jié)。
圖片識別能力就不行了，DeepSeek7B這個模型不具備識別圖片的能力。而官網(wǎng)的模型則可以準(zhǔn)確的讀出圖片中的主要內(nèi)容，并且給出了示例以及圖片總結(jié)。
講在最后
DeepSeek經(jīng)過推理后給出的內(nèi)容確實比傳統(tǒng)問答模型要詳細(xì)和完整，即使是一個7B的小模型給出的結(jié)果也非常好，當(dāng)然比官網(wǎng)略遜。
在文件分析方面DeepSeek分析結(jié)果也比較完整和忠于原文，不過本地的7B版本不能識別圖片是個遺憾。
