国产一级a片免费看高清,亚洲熟女中文字幕在线视频,黄三级高清在线播放,免费黄色视频在线看

1.Qwen模型簡介?

（引自https://www.modelscope.cn/models/qwen/Qwen1.5-0.5B-Chat-GGUF/summary、https://blog.csdn.net/df19900725/article/details/136051040）

Qwen1.5（通義千問1.5）是阿里云最近推出的開源大型語言模型系列，包含多個規(guī)模，從0.5B到72B，滿足不同的計算需求（本文介紹0.5b）,是Qwen2的beta版，是一個基于Transformer架構的僅解碼器語言模型，預訓練于大量數(shù)據(jù)上。與之前發(fā)布的Qwen相比，改進包括：

• 有6個不同參數(shù)模型版本（0.5B, 1.8B, 4B, 7B, 14B 和 72B），最小的僅5億參數(shù)，最大的有720億參數(shù)；
• 聊天優(yōu)化版本的模型相比較第一代模型有明顯的進步，其中720億參數(shù)的Qwen1.5-72B在MT-Bench得分僅次于GPT-4；
• 基座版本和聊天版本在多語言方面的能力得到增強，包括中英文在內，共支持12種語言（如日語、俄語、法語西班牙語等）；
• 所有版本模型最高支持32K的長上下文輸入；
• 支持系統(tǒng)提示，可以完成Roleplay；
• 生態(tài)完善，發(fā)布即支持vLLM、SGLang等推理加速框架；
• 支持不同的量化框架；
• 月活1億以下直接商用授權，月活1億以上商用需要獲取授權；

2.Qwen1.5-0.5B模型部署

接下來我們開始規(guī)模為0.5B的Qwen1.5模型部署

2.1模型下載：創(chuàng)建一個python文件并運行

python代碼如下所示：

from modelscope.hub.file_download import model_file_download 
model_dir = model_file_download(model_id='qwen/Qwen1.5-0.5B-Chat-GGUF',file_path='qwen1_5-0_5b-chat-q5_k_m.gguf',
revision='master',cache_dir='/mnt/workspace')

（別忘了將’/mnt/workspace’改為對應路徑）
在命令行中運行代碼

python <文件名>.py

2.2下載llama.cpp：使用git克隆llama.cpp項目并編譯

git clone https://github.com/ggerganov/llama.cpp
cd llama.cpp
make -j

2.3使用如下代碼加載并執(zhí)行模型

./main -m /mnt/workspace/qwen/Qwen1.5-0.5B-Chat-GGUF/qwen1_5-0_5b-chat-q5_k_m.gguf -n 512 --color -i -cml

2.4執(zhí)行成功如下圖所示：

至此，你已經(jīng)部署好了qwen1.5-0.5b，可以在窗口進行對話。

3.基于OpenVINO的模型量化實踐（Qwen2.0）

3.1配置環(huán)境并安裝依賴的包：

首先去github下載所需的文件，鏈接如下：
https://github.com/OpenVINO-dev-contest/Qwen2.openvino
創(chuàng)建目錄并在該目錄下創(chuàng)建兩個.py文件和一個.txt文件

并將代碼復制進對應的文件
接著
創(chuàng)建Python虛擬環(huán)境：

python -m venv qwenVenv
source qwenVenv/bin/activate

安裝依賴的包：

pip install wheel setuptools
pip install -r requirements.txt

(在終端中一行一行執(zhí)行即可)
成功后如下圖所示：

3.2下載模型

export HF_ENDPOINT=https://hf-mirror.com
huggingface-cli download --resume-download --local-dir-use-symlinks False Qwen/Qwen1.5-0.5B-Chat --
local-dir {your_path}/Qwen1.5-0.5B-Chat

（同樣在終端中運行）
成功后如下圖所示：

3.3轉換模型與加載模型：

在這里需使用第1步創(chuàng)建的兩個.py文件

python3 convert.py --model_id Qwen/Qwen1.5-0.5B-Chat --precision int4 --output {your_path}/Qwen1.5-0.5B-Chat-ov

python3 chat.py --model_path {your_path}/Qwen1.5-0.5B-Chat-ov --max_sequence_length 4096 --device CPU

轉換和加載成功如下圖所示：

3.4模型部署完畢

至此，Qwen2.0也部署完畢，可進行對話，如下圖：

4.總結

此次LLM實驗是本人部署大模型的初體驗，Qwen1.5和2.0以及其他開源模型的親身部署與使用過程，加深了我對大模型的理解和認識，通過接觸模型庫，從本質上見證了語言模型的核心，同時也加強了對linux系統(tǒng)的使用熟練度，相信大家也有豐富收獲。