美女视频脱,赵丽颖怀孕视频

在本地部署 DeepSeek-R1 模型，包含電腦和手機(jī)，附帶硬件和模型版本

2025.01.30

本文將引導(dǎo)您完成在本地機(jī)器上設(shè)置和運(yùn)行 DeepSeek-R1 模型的全過(guò)程，涵蓋硬件要求、必要工具的安裝以及客戶(hù)端的使用。

DeepSeek 的 R1 模型因其先進(jìn)的功能和成本效益而備受關(guān)注。在本地運(yùn)行此模型將是有益的體驗(yàn)，能夠深入了解最先進(jìn)的 AI 技術(shù)。

1、DeepSeek-R1 模型各個(gè)版本說(shuō)明和硬件需求

DeepSeek-R1 提供多種版本，每個(gè)版本都有特定的硬件要求，下面分別列出：

全參數(shù)的模型

這是 R1 的原始版本，包含大量的參數(shù)，精度高，但需要大量計(jì)算資源；

參數(shù)為 671B，需要顯存為 1342GB。

兩個(gè)模型都要求使用多 GPU，比如 NVDIA-A100 80GB 顯卡一共 16 張。

不支持單獨(dú)的 Mac 電腦，但是支持 Mac 電腦集群。

蒸餾模型

蒸餾模型是“老師教學(xué)生”，通過(guò)知識(shí)蒸餾，教小的模型學(xué)會(huì)復(fù)制較大模型的行為，擴(kuò)充性能，減少資源需求。

可以看到蒸餾模型對(duì)顯存的需求相比全參數(shù)模型來(lái)說(shuō)可以忽略不計(jì)了。

其中 7B 和 8B 模型可以用于 32GB 的 Mac 算是性能和參數(shù)平衡后最佳選擇。

Quantized Models (4-bit) 精度為 4bit 的模型

在了解什么 Quantized Models 前，我們先了解以下幾個(gè)關(guān)鍵點(diǎn)：

2、電腦安裝推薦 Ollama：安裝指南

Ollama 是一款流行的在本地運(yùn)行大模型的工具。

現(xiàn)在不論是 macOS 還是 Windows 都可以直接下載客戶(hù)端安裝。

注意：安裝 Ollama 后，操作一般是在終端中操作。

通過(guò)命令運(yùn)行 Ollama，比如在 Ollama 官網(wǎng)搜索DeepSeek

安裝后，一般就會(huì)在本地的 11434 端口開(kāi)啟服務(wù)了。

你可以在終端實(shí)時(shí)體驗(yàn)，但是要獲得像官網(wǎng)一樣的體驗(yàn)，還是需要額外的套殼 UI 客戶(hù)端

3、開(kāi)源大模型 UI 客戶(hù)端

關(guān)于套殼 UI 有很多可以選擇，可以根據(jù)喜好自行選擇。

我這里推薦兩個(gè)。

一個(gè)是 Open WebUI

Open WebUI 可以使用 Docker 部署，簡(jiǎn)單方便。

一個(gè)是 Chatbox

Chatbox可以使用各種模型的 api，也可以使用本地 Ollama 11434 端口的服務(wù)。

4、安卓手機(jī)部署

手機(jī)目前的話(huà)推薦使用安卓部署本地模型。

推薦 MNN 框架。

可以直接下載目前打包好的 apk-MNN 大模型 Android App

下載安裝后，可以在模型列表里下載 DeepSeek-R1-1.5B-Qwen-MNN

本站僅提供存儲(chǔ)服務(wù)，所有內(nèi)容均由用戶(hù)發(fā)布，如發(fā)現(xiàn)有害或侵權(quán)內(nèi)容，請(qǐng)點(diǎn)擊舉報(bào)。

国产一级a片免费看高清,亚洲熟女中文字幕在线视频,黄三级高清在线播放,免费黄色视频在线看