利用 Ollama 可以非常容易地體驗一些比較流行的開源大模型。

Ollama是一個操作極為簡單的大模型部署工具。

官網(wǎng)地址：https://ollama.com/
github地址：https://github.com/ollama/ollama

”

Ollama支持谷歌前兩天開源的大模型Gemma，也支持一些公認的目前表現(xiàn)較好的開源大模型，如llama2、mistral、mixtral等，最主要的是能支持阿里前陣子開源的Qwen，包括0.5b到72b。這個目前應該是中文開源的最好的能在臺式機上運行的大模型了。其實智譜的GLM3-6B也不錯，不過從模型參數(shù)上看比不上Qwen-7B。

目前 Ollama 支持的一些名氣比較大的模型（列表不齊全，更多的模型可以在官網(wǎng)查看）：

需要注意，使用7B模型至少需要8GB顯存，13B模型至少需要16GB顯存，33B模型至少需要32GB顯存。其實顯卡拉垮的也可以使用內(nèi)存，確保本機內(nèi)存夠大就行，Ollama似乎會自動檢測本機硬件配置從而決定是使用顯卡還是CPU。不過如果顯卡拉垮的話，模型反應會非常慢。

利用 Ollma 部署模型非常簡單。下面以 Qwen-7B 為例描述使用過程。

1 下載 Ollma 安裝文件

訪問 https://ollama.com/download，選擇 Windows，單擊 “Download for Windows (Preview)” 進行下載。

2 安裝 Ollama

雙擊下載的安裝文件OllamaSetup.exe，直接安裝就可以了。安裝完畢后軟件會自動啟動

3 使用 Ollama

訪問 https://ollama.com/library，搜索你要使用的模型，主流的模型，比如 llama2、qwen1.5、mixtral 等，Ollama都支持。

• 選擇首頁右上角的Models鏈接

• 在打開的頁面中可以搜索想要使用的模型，如要使用的Qwen

• 選擇搜索到的模型鏈接，可以查看模型加載方式

如圖所示，若想要使用7b模型，可以使用命令ollama run qwen:7b

• 啟動PowerShell，輸入命令，軟件會自動下載模型

默認情況下模型被下載到了路徑 C:\Users\Administrator\.ollama\models\blobs\下。下載完畢后如下圖所示。

此時可以直接進行提問使用了。如下所示，能識別魯迅和周樹人，對于7b小模型來說已經(jīng)很不錯了。

使用Ollama當然不只是為了單純進行對話，其實可以將Ollama當做一個加載了大模型的服務器，從而實現(xiàn)本地知識庫分析與提取。這個大家有興趣可以自行摸索。

這兩天比較火熱的谷歌開源的Gemma模型也可以在ollama中使用，其包括2b和7b兩個版本，其中7b模型的調(diào)用命令為ollama run gemma:7b。

安裝完畢后可以使用，如下圖所示。gamma在中文方面，依然智商不高，不過想想ChatGPT3.5也回答不來這個問題，也就沒啥好說的了。

不過英文提問效果還湊合。gemma-7B準不準不好說，快是真的快。

Ollama支持從外部進行調(diào)用，其github官網(wǎng)提供了外部可以調(diào)用的一些UI和工具。

比如這里使用 Chatbox 進行調(diào)用，有興趣的道友可以自行嘗試。

（完）