目錄
一、Ollama是什么？
二、如何在Mac上安裝Ollama
1. 準(zhǔn)備工作
2. 下載并安裝Ollama
3. 運行Ollama
4. 安裝和配置大型語言模型
5. 使用Ollama
三、安裝open-webui
1. 準(zhǔn)備工作
2. Open WebUI ?的主要特點
3. Docker安裝OpenWebUI，拉去太慢可以使用手動安裝
4. 配置本地大模型LLaMA2-7B
5. 驗證配置
四、使用Ollama + AnythingLLM構(gòu)建類ChatGPT本地問答機(jī)器人系
學(xué)習(xí)目標(biāo)
1. 下載AnythingLLM
2. 安裝AnythingLLM
3. 配置AnythingLLM
3.1 選擇LLM、嵌入模型和向量數(shù)據(jù)庫
3.2 設(shè)置環(huán)境變量（如果需要）
3.3 權(quán)限管理（如果需要）
4. 構(gòu)建知識庫
5. 開始使用
6. 自定義集成（如果需要）
7. 監(jiān)控和反饋
8. 注意事項
9. 額外信息
參考文章
一、Ollama是什么？
Ollama是一個功能強(qiáng)大的開源框架，旨在簡化在Docker容器中部署和管理大型語言模型（LLM）的過程。以下是關(guān)于Ollama的詳細(xì)介紹：
- 定義與功能：
- Ollama是一個開源的大型語言模型服務(wù)工具，它幫助用戶快速在本地運行大模型。
- 通過簡單的安裝指令，用戶可以執(zhí)行一條命令就在本地運行開源大型語言模型，如Llama 2。
- Ollama極大地簡化了在Docker容器內(nèi)部署和管理LLM的過程，使得用戶能夠快速地在本地運行大型語言模型。
- 特點與優(yōu)勢：
- 功能齊全：Ollama將模型權(quán)重、配置和數(shù)據(jù)捆綁到一個包中，定義成Modelfile。
- 優(yōu)化設(shè)置與配置：它優(yōu)化了設(shè)置和配置細(xì)節(jié)，包括GPU使用情況。
- 易用性：用戶無需深入了解復(fù)雜的部署和管理流程，只需簡單的安裝和配置即可使用。
- 支持熱加載：用戶無需重新啟動即可切換不同的模型。
- 支持的平臺與模型：
- Ollama支持在Mac和Linux平臺上運行。
- 它支持運行多種開源大型語言模型，如Llama 2。
- API與界面：
- Ollama提供了類似OpenAI的API接口和聊天界面，方便用戶部署和使用最新版本的GPT模型。
- 安裝與部署：
- Ollama的安裝過程被極大地簡化，并提供了多種選擇，包括Docker鏡像。
綜上所述，Ollama是一個為在本地運行大型語言模型而設(shè)計的強(qiáng)大、易用、功能齊全的開源框架。它通過優(yōu)化設(shè)置和配置，簡化了在Docker容器中部署和管理LLM的過程，使得用戶能夠快速、方便地在本地運行大型語言模型。
二、如何在Mac上安裝Ollama
在Mac上安裝Ollama的步驟如下，結(jié)合了參考文章中的信息，并進(jìn)行了適當(dāng)?shù)目偨Y(jié)和歸納：
1. 準(zhǔn)備工作
- 確認(rèn)系統(tǒng)兼容性：Ollama支持在Mac上運行，但請確保您的Mac滿足運行大型語言模型所需的最低系統(tǒng)要求。
- 檢查存儲空間：安裝和運行Ollama以及大型語言模型可能需要較大的磁盤空間。請確保您的Mac有足夠的存儲空間。
2. 下載并安裝Ollama
- 訪問Ollama官網(wǎng)：前往Ollama的官方網(wǎng)站（如：https://ollama.com/）下載適用于Mac的安裝包。
- 下載安裝包：在官網(wǎng)找到適用于Mac的下載鏈接，下載Ollama的安裝包。
- 安裝Ollama：雙擊下載的安裝包，按照提示完成安裝過程。
3. 運行Ollama
- 打開終端：在Mac上打開終端（Terminal）。
- 運行命令：在終端中，輸入相應(yīng)的命令來啟動和運行Ollama。例如，使用
ollama pull llama3命令來拉取并安裝Llama 3模型（請注意，這只是一個示例命令，具體命令可能因Ollama的版本和您的需求而有所不同）。 - 下載llama2地址：llama2
- 下載命令：ollama run llama2:7b
4. 安裝和配置大型語言模型
- 選擇模型：根據(jù)您的需求選擇合適的大型語言模型。Ollama支持多種開源大型語言模型，如Llama 2、Llama 3等。
- 安裝模型：使用Ollama提供的命令來安裝所選的模型。例如，使用
ollama pull llama3命令來安裝Llama 3模型。 - 配置模型：根據(jù)模型的文檔和說明，進(jìn)行必要的配置和設(shè)置。這可能包括設(shè)置模型的參數(shù)、配置GPU使用情況等。
5. 使用Ollama
-
啟動服務(wù)：在成功安裝和配置模型后，您可以使用Ollama提供的命令或API來啟動和運行模型服務(wù)。
-
訪問和使用：通過Ollama提供的Web界面或API接口，您可以訪問和使用已部署的大型語言模型進(jìn)行各種任務(wù)，如文本生成、問答等。
-
API調(diào)用
curl http://localhost:11434/api/generate -d '{
“model”: “l(fā)lama2:7B”,
“prompt”:“Why is the sky blue”
}’
-
回答問題時CPU100%，MAC M1 8G內(nèi)存
請注意，以上步驟和命令可能因Ollama的版本和您的具體需求而有所不同。建議您參考Ollama的官方文檔和社區(qū)資源，以獲取最準(zhǔn)確和最新的安裝和使用指南。
三、安裝open-webui
1. 準(zhǔn)備工作
- 安裝Docker環(huán)境：確保你的系統(tǒng)上已經(jīng)安裝了Docker Desktop。你可以從Docker官網(wǎng)下載并安裝適合你操作系統(tǒng)的Docker Desktop版本。
- 配置Docker以支持GPU（可選）：如果你的本地有GPU，并且希望利用GPU加速大模型效果，你需要在Docker Desktop中配置GPU支持。這通常涉及到在Docker Desktop的設(shè)置中啟用GPU支持，并安裝相應(yīng)的驅(qū)動程序和軟件。
- 可參考文章：Macbook m1安裝docker詳細(xì)教程_mac m1安裝docker-CSDN博客
2. Open WebUI 的主要特點
GitHub - open-webui/open-webui: User-friendly WebUI for LLMs (Formerly Ollama WebUI)
-
??輕松設(shè)置：使用 Docker 或 Kubernetes（kubectl、kustomize 或 helm）無縫安裝，提供無憂體驗，同時支持標(biāo)記映像和標(biāo)記映像。:ollama``:cuda
-
??Ollama/OpenAI API 集成：輕松集成兼容 OpenAI 的 API，與 Ollama 模型進(jìn)行多功能對話。自定義 OpenAI API URL 以鏈接LMStudio、GroqCloud、Mistral、OpenRouter 等。
-
??Pipelines、Open WebUI 插件支持：使用Pipelines 插件框架將自定義邏輯和 Python 庫無縫集成到 Open WebUI 中。啟動您的 Pipelines 實例，將 OpenAI URL 設(shè)置為 Pipelines URL，探索無限可能。示例包括函數(shù)調(diào)用、控制訪問的用戶速率限制、使用 Langfuse 等工具進(jìn)行使用情況監(jiān)控、使用LibreTranslate提供多語言支持的實時翻譯、有害消息過濾等等。
-
??響應(yīng)式設(shè)計：在臺式電腦、筆記本電腦和移動設(shè)備上享受無縫體驗。
-
??**適用于移動設(shè)備的漸進(jìn)式 Web 應(yīng)用程序 （PWA）：**使用我們的 PWA 在您的移動設(shè)備上享受類似本機(jī)應(yīng)用程序的體驗，提供對 localhost 的離線訪問和無縫的用戶界面。
-
??完整的 Markdown 和 LaTeX 支持：通過全面的 Markdown 和 LaTeX 功能提升您的 LLM 體驗，以實現(xiàn)豐富的交互。
-
??模型生成器：通過 Web UI 輕松創(chuàng)建 Ollama 模型。通過Open WebUI 社區(qū)集成，輕松創(chuàng)建和添加自定義角色/代理、自定義聊天元素和導(dǎo)入模型。
-
??本地 RAG 集成：通過突破性的檢索增強(qiáng)生成 （RAG） 支持，深入了解聊天交互的未來。此功能將文檔交互無縫集成到您的聊天體驗中。您可以將文檔直接加載到聊天中或?qū)⑽募砑拥轿臋n庫中，在查詢之前使用命令輕松訪問它們。#
-
??RAG 的 Web 搜索：使用 、 、 、 和 等提供程序執(zhí)行 Web 搜索，并將結(jié)果直接注入到聊天體驗中。SearXNG``Google PSE``Brave Search``serpstack``serper
-
??Web 瀏覽功能：使用后跟 URL 的命令將網(wǎng)站無縫集成到您的聊天體驗中。此功能允許您將 Web 內(nèi)容直接合并到您的對話中，從而增強(qiáng)交互的豐富性和深度。#
-
??圖像生成集成：使用 AUTOMATIC1111 API 或 ComfyUI（本地）和 OpenAI 的 DALL-E（外部）等選項無縫整合圖像生成功能，通過動態(tài)視覺內(nèi)容豐富您的聊天體驗。
-
許多模型對話：毫不費力地同時與各種模型互動，利用它們的獨特優(yōu)勢來獲得最佳響應(yīng)。通過并行利用各種模型來增強(qiáng)您的體驗。
-
??**基于角色的訪問控制 （RBAC）：**確保使用受限權(quán)限進(jìn)行安全訪問;只有經(jīng)過授權(quán)的個人才能訪問您的 Ollama，并且為管理員保留獨家模型創(chuàng)建/拉取權(quán)限。
-
???多語言支持：通過我們的國際化 （i18n） 支持，以您的首選語言體驗 Open WebUI。加入我們，擴(kuò)展我們支持的語言！我們正在積極尋找貢獻(xiàn)者！
-
??持續(xù)更新：我們致力于通過定期更新、修復(fù)和新功能來改進(jìn) Open WebUI。
想了解更多關(guān)于Open WebUI的功能嗎？查看我們的Open WebUI 文檔，了解全面概述！
拉取Open-WebUI鏡像：使用Docker命令從GitHub Container Registry拉取Open-WebUI的鏡像。例如，你可以運行以下命令來拉取最新的Open-WebUI鏡像：
docker run -d -p 3000:8080 --add-host=host.docker.internal:host-gateway -v open-webui:/app/backend/data --name open-webui --restart always ghcr.io/open-webui/open-webui:main
下載太慢，需要配置docker國內(nèi)鏡像倉庫，參考這篇文章：
MacOS上配置docker國內(nèi)鏡像倉庫地址_mac docker配置鏡像源-CSDN博客
如果163也很慢，建議配置阿里云鏡像地址，需要登陸阿里云不過配置發(fā)現(xiàn)更慢！手動下載了
最后只能用魔法解決了
4. 安裝完成
4.1 本地登陸
登陸地址http://localhost:3000/ 注冊賬號登陸
4.2 選擇模型
4.3 聊天
4.4 配置文本嵌入模型
4.5 上傳PDF文檔
4.6關(guān)聯(lián)文檔，回答問題
4. 配置本地大模型LLaMA2-7B
- 下載LLaMA2-7B模型：你需要從適當(dāng)?shù)膩碓矗ㄈ鏗ugging Face的模型倉庫）下載LLaMA2-7B模型的文件。由于模型文件可能非常大，下載可能需要一些時間。確保你有足夠的存儲空間來存儲這些文件。
- 配置Open-WebUI以使用LLaMA2-7B模型：Open-WebUI允許你通過配置文件或環(huán)境變量來指定要使用的模型。你需要根據(jù)你的Open-WebUI版本和配置方式，將LLaMA2-7B模型的路徑或位置配置到Open-WebUI中。具體的配置方法可能因Open-WebUI版本而異，請參考Open-WebUI的官方文檔或GitHub倉庫中的說明進(jìn)行配置。
- 重啟Open-WebUI容器：在配置完Open-WebUI以使用LLaMA2-7B模型后，你需要重啟Open-WebUI容器以使配置生效。你可以使用Docker命令來停止并重新啟動容器，或者如果Open-WebUI支持熱重載配置，你也可以嘗試重新加載配置而不必重啟容器。
5. 驗證配置
- 訪問Open-WebUI界面：在配置完成后，你可以通過瀏覽器訪問本地的3000端口來訪問Open-WebUI的界面。在界面上，你應(yīng)該能夠看到已經(jīng)配置好的LLaMA2-7B模型，并可以開始使用它進(jìn)行對話或其他任務(wù)。
- 測試LLaMA2-7B模型：在Open-WebUI界面中，你可以嘗試與LLaMA2-7B模型進(jìn)行對話或執(zhí)行其他任務(wù)來驗證配置是否正確。如果一切正常，你應(yīng)該能夠看到LLaMA2-7B模型對你的輸入做出合理的響應(yīng)。
四、使用Ollama + AnythingLLM構(gòu)建類ChatGPT本地問答機(jī)器人系
學(xué)習(xí)目標(biāo)
- 使用開源軟件Ollama+AnythingLLM構(gòu)建本地類ChatGPT問答機(jī)器人系統(tǒng)
- 熟悉和了解基于LLM的本地RAG知識庫搭建原理和邏輯，替換符合國內(nèi)的LLM工具
- 學(xué)會安裝、配置、使用問答系統(tǒng)，找出符合企業(yè)私有化客服（對內(nèi)）的產(chǎn)品規(guī)劃邏輯
- 對比和發(fā)現(xiàn)問題，尋找優(yōu)劣點
當(dāng)在MAC上安裝AnythingLLM時，以下是更詳細(xì)的步驟，結(jié)合了參考文章中的信息：
1. 下載AnythingLLM
2. 安裝AnythingLLM
- 下載完成后，找到下載的dmg文件，雙擊打開。
- 跟隨安裝向?qū)У闹甘?，完成AnythingLLM的安裝過程。
- 安裝完成后，打開AnythingLLM應(yīng)用。初次啟動可能需要一些時間進(jìn)行初始化操作。
3. 配置AnythingLLM
3.1 步驟說明
3.2選擇LLM、嵌入模型和向量數(shù)據(jù)庫
- 在AnythingLLM應(yīng)用中，根據(jù)需求選擇或下載適當(dāng)?shù)拇笳Z言模型（LLM）、嵌入模型和向量數(shù)據(jù)庫。
- LLM：AnythingLLM支持多種LLM，包括但不限于OpenAI的GPT系列、Gemini、Mistral等。
- 嵌入模型：可以選擇內(nèi)置的嵌入模型或下載其他模型，如OpenAI、LocalAi、Ollama等提供的嵌入模型。
- 向量數(shù)據(jù)庫：默認(rèn)使用內(nèi)置的LanceDB，但也可以選擇其他如Chroma、Milvus、Pinecone等。
3.3設(shè)置環(huán)境變量（如果需要）
- 根據(jù)AnythingLLM的文檔說明，如有需要，設(shè)置所需的環(huán)境變量，例如
OLLAMA_MODELS。
3.4權(quán)限管理（如果需要）
- 如果是企業(yè)級應(yīng)用，可以設(shè)置多用戶并進(jìn)行權(quán)限管理，確保數(shù)據(jù)的安全性。
4. 構(gòu)建知識庫
- 在AnythingLLM中，通過“選擇知識”按鈕上傳文檔或給定知識文件鏈接（支持PDF、TXT、DOCX等文檔格式）。
- 將文檔通過嵌入模型轉(zhuǎn)化為向量，并保存到向量數(shù)據(jù)庫中。這個過程可能需要一些時間，具體取決于文檔的大小和系統(tǒng)的性能。
5. 開始使用
6. 自定義集成（如果需要）
- 如果需要，可以使用AnythingLLM的開發(fā)者API進(jìn)行自定義集成，以滿足特定的業(yè)務(wù)需求。
7. 監(jiān)控和反饋
- 利用AnythingLLM的遙測功能來監(jiān)控應(yīng)用的使用情況。
- 如果遇到問題或需要改進(jìn)，可以通過創(chuàng)建issue或PR來提供反饋。
8. 注意事項
- 定期檢查并更新AnythingLLM和相關(guān)的模型、嵌入模型、向量數(shù)據(jù)庫，以獲取最佳的性能和安全性。
- 注意保護(hù)個人隱私和知識產(chǎn)權(quán)，確保上傳的文檔內(nèi)容合法合規(guī)。
9. 額外信息
- AnythingLLM是一個全棧應(yīng)用程序，允許用戶將任何文檔、資源或內(nèi)容轉(zhuǎn)化為任何LLM在聊天過程中可以用作參考的上下文。
- 該應(yīng)用程序支持多種LLM、嵌入器和向量數(shù)據(jù)庫，并提供了多用戶支持和權(quán)限管理功能。
- 通過AnythingLLM，用戶可以在本地或云端搭建個性化的聊天機(jī)器人系統(tǒng)，無需復(fù)雜設(shè)置。
參考文章
Ollama-0001-安裝
Ollama：本地大模型運行指南
ollama+open-webui，本地部署自己的大模型_ollama的webui如何部署-CSDN博客
Macbook m1安裝docker詳細(xì)教程_mac m1安裝docker-CSDN博客
MacOS上配置docker國內(nèi)鏡像倉庫地址_mac docker配置鏡像源-CSDN博客
第九期： 使用Ollama + AnythingLLM構(gòu)建類ChatGPT本地問答機(jī)器人系統(tǒng) - 知乎 (zhihu.com)
AI小白使用Macbook Pro安裝llama3與langchain初體驗_mac安裝llama3-CSDN博客
EP4 Ollama + AnythingLLM 解讀本地文檔 構(gòu)建私有知識庫_嗶哩嗶哩_bilibili
