原創(chuàng) 一意AI 一意AI增效家 2024-02-09 02:17 廣東
hi~
新年快樂呀~
朋友，祝你越來越好！
應(yīng)該都到家了吧？
馬上又到了年輕們最煎熬的時候了，“啥時候結(jié)婚？”、“年薪多少??？”、“二胎快了吧？”、“我兒子都當(dāng)上公司高管了”！
真真的！不如在家學(xué)習(xí)，干項目！
雄哥目標(biāo)就是在新年幾天，把知識圖譜和高級RAG應(yīng)用干完！
干完了，我們繼續(xù)干agent！干教育組項目！
接下來我們會用到純本地的環(huán)境，做知識圖譜+RAG應(yīng)用！
我需要部署一個本地開源模型，完成任務(wù)！
但雄哥帶回家的筆記本電腦，沒有顯卡！
怎么辦？
剛好qwen發(fā)布了1.5 版本！而且一下更新了：0.5B, 1.8B, 4B, 7B, 14B, 72B
6個尺寸版本！
最小的尺寸僅0.5B！
就是不知能力如何！
我們先看看他常規(guī)尺寸的數(shù)據(jù)，這么看，各項數(shù)據(jù)，不管放在國內(nèi)外，在開源陣營中，都是非常能打的！
但雄哥本地沒有顯卡，只能用CPU來跑，而且日后接API出來做知識圖譜和RAG，小尺寸模型才是我的菜！
來看看小尺寸的表現(xiàn)！
嗯！就它了！
雄哥本地沒有任何顯卡，只有CPU！到時跑知識圖譜，那個溫度+音浪~
已經(jīng)有畫面了！
人的專注力只有10分鐘，那，話不多說！
① 部署ollama推理環(huán)境！
② 下載qwen1.5版本模型！(全)
③ 啟動推理！跑起來！
價值內(nèi)容，僅對知識星球會員開放，被長輩催婚，不如關(guān)門學(xué)習(xí)，快加入星球，一起打卡學(xué)習(xí)吧！
我們已經(jīng)做了大模型微調(diào)、知識庫+RAG、數(shù)據(jù)預(yù)處理、langchain+llama_index的內(nèi)容！點擊下方小程序申請加入！
知識星球
點擊申請加入知識星球
小程序
第一部分：部署ollama推理環(huán)境
ollama！是一個操作簡單的大模型部署工具！可以無縫接入到各大應(yīng)用中！
當(dāng)然！支持langchain+llama_index！來看看它的優(yōu)勢！
運行環(huán)境：純本地
支持系統(tǒng)：Mac、linux、win系統(tǒng)的WSL2
算力要求：零！雄哥16G內(nèi)存，0顯存，照樣跑！
部署方式：一條指令搞掂，無需安裝依賴！
docker：完美使用！
GitHub地址：https://github.com/ollama/ollama
接下來，雄哥用win11系統(tǒng)的WSL和docker兩種方式來部署它！
如果你是小白，沒關(guān)系，你可以把ollama理解為一個手機系統(tǒng)，大模型就是一個APP！
只有安裝了系統(tǒng)，我們才能啟動一個APP，一樣道理！
好！動起手來，跟著雄哥把系統(tǒng)部署下來！
1.1 安裝wsl+docker
是的，雄哥是0基礎(chǔ)教，那一定是從這個開始的！wsl和docker幾乎是捆綁在一起的！
首先，我們要先安裝wsl！這是win系統(tǒng)的linux虛擬機，完全獨立于win系統(tǒng)！這樣無需安裝雙系統(tǒng)了！
安裝！對你日后的AI環(huán)境使用，都有好處，雄哥的使用率極高！
安裝wsl有自動和手動兩種，雄哥用自動擋，沒成功~
沒關(guān)系，手動安裝也是一眨眼的事！
現(xiàn)在在開始菜單按鈕右鍵，管理員身份運行終端！
輸入以下指令，回車！啟動wsl功能
dism.exe /online /enable-feature /featurename:Microsoft-Windows-Subsystem-Linux /all /norestart
繼續(xù)！輸入以下指令，回車！啟動虛擬機功能！
dism.exe /online /enable-feature /featurename:VirtualMachinePlatform /all /norestart
打開電腦的“應(yīng)用商店”，搜索并安裝wsl！
回到剛剛的窗口，看看安裝成功沒！輸入以下指令！回車！
wsl --list --verbose
注意看！星標(biāo)在不在新安裝的這個版本上！
如果不在，輸入以下指令，將新安裝的wsl設(shè)置為默認版本！
否則是無法啟動的！
wsl --set-default-version Ubuntu-22.04
現(xiàn)在，該安裝docker了！
在知識星球會員盤下載docker后！直接下一步安裝！
安裝成功后，注意要點設(shè)置！打鉤！
全部搞掂！
1.2 安裝ollama！
打開剛剛那個WSL小企鵝！這是linux和wsl的安裝指令！
一條搞掂，輸入后回車！
curl https://ollama.ai/install.sh | sh
整個下載幾分鐘搞掂！因為雄哥本地的筆記本，沒有顯卡，只有CPU，所以它提示我，會用CPU來運行模型！
沒關(guān)系！
下載完了，這個系統(tǒng)就搞掂了！
之后運行模型只需要一條指令！
是不是很簡單？
甚至不用安裝依賴！
上面已經(jīng)安裝好了！不需要再做任何操作了！
當(dāng)然，你也可以用docker安裝，如果你還想拓展更多花活，你就可以玩docker了，也是一條指令搞掂！
兩個系統(tǒng)是獨立的，一個在docker，一個在wsl中！
docker run -d -v ollama:/root/.ollama -p 11434:11434 --name ollama ollama/ollama
第二部分：下載模型！（全）
雄哥實在太愛這個工具了，下載模型只需要一條指令！無需魔法！
首先！雄哥要下載qwen1.5版本的模型，ollama專門做了一個模型商店！
上面有絕大部分的開源模型！以下是qwen1.5版本倉庫的商店鏈接！
https://ollama.ai/library/qwen/tags
直接在wsl窗口輸入以下指令，回車！
ollama run qwen:0.5b
這是支持的所有開源模型的商店鏈接！
客觀您慢慢挑~
https://ollama.ai/library
注意！在docker中的操作是完全不同的！
使用以下命令。
僅 CPU
docker run -d -v ollama:/root/.ollama -p 11434:11434 --name ollama ollama/ollama
有英偉達GPU的
安裝 Nvidia 容器工具包。
在 Docker 容器中運行 Ollama
docker run -d --gpus=all -v ollama:/root/.ollama -p 11434:11434 --name ollama ollama/ollama
運行模型
現(xiàn)在，您可以在容器內(nèi)運行類似 qwen1.5_0.5b 的模型。
docker exec -it ollama ollama run qwen:0.5b
第三部分：啟動推理！跑起來！
跑起來！
一條指令！
ollama run qwen:0.5b-chat
沒錯！還是它！
如果你下載完，會自動進入chat，退出后，也可以用它來啟動！
你有什么問題在，直接在窗口就可以跟它對話，CPU，也非?？?！
簡單問了兩個問題！
問1：樹上有10只鳥，開 槍打死一只，樹上還有幾只鳥？
答1：當(dāng)開槍打死一只之后，樹上可能會剩下9只鳥。但請注意，這只是一個假設(shè)的計算，并沒有考慮到所有可能的情況。
問2：你是誰
答2：我是來自阿里云的大規(guī)模語言模型——通義千問。我不僅能夠理解和生成高質(zhì)量的文字，而且還能進行深度對話和知識查詢，為用戶提供更便捷的服務(wù)。
整個回答，還算簡潔，沒什么多余的話，這只是0.5B的！跑完了這個，我感覺我的電腦可以跑4B的，16G顯存，馬上下載試試！
反正一條指令干完所有事，大家也動起手來
qwen1.5系列，全系都是32K，真的好評！
雄哥好好玩下
后續(xù)我們要用它來部署純本地的LLM，接API來做知識圖譜+RAG應(yīng)用！
在跑的時候，有任何問題，找雄哥的技術(shù)助手—小胖！或在會員群里聊！
