一夜之間，中國(guó)AI大模型DeepSeek-R1橫掃硅谷，迅速引爆全球科技圈，英偉達(dá)AI科學(xué)家Jim Fan發(fā)文感嘆：“一家非美國(guó)公司，正在讓OpenAI的初衷得以延續(xù)——真正開放、為所有人賦能的前沿研究”。是的，DeepSeek-R1不僅性能媲美OpenAI O1，更做到了完全開源。
DeepSeek-R1模型的發(fā)布，讓我們可以更好地使用開源大語(yǔ)言模型運(yùn)行推理任務(wù)。現(xiàn)在，R1模型可以通過(guò)DeepSeek API獲得，也就是說(shuō)我們可以將其集成到我們的工作流程中。更好的消息是，Ollama在他們的庫(kù)中添加了幾個(gè)版本的R1模型，現(xiàn)在我們可以在本地使用Ollama運(yùn)行R1模型。
1. 按照以下說(shuō)明操作 https://github.com/ollama/ollama 安裝ollama程序。
# if the ollama program is not running, start it with the following commandollama serve
% ollama pull deepseek-r1:1.5b% ollama pull nomic-embed-text
?? 安裝 LeetTools
% conda create -y -n leettools python=3.11% conda activate leettools% pip install leettools
# where we store all the data and logs% export LEET_HOME=${HOME}/leettools% mkdir -p ${LEET_HOME}
% cat > .env.ollama <<EOF# need tot change LEET_HOME to the correct pathLEET_HOME=</Users/myhome/leettools>EDS_DEFAULT_LLM_BASE_URL=http://localhost:11434/v1EDS_LLM_API_KEY=dummy-keyEDS_DEFAULT_INFERENCE_MODEL=deepseek-r1:1.5bEDS_DEFAULT_EMBEDDING_MODEL=nomic-embed-textEDS_EMBEDDING_MODEL_DIMENSION=768EOF通過(guò)一個(gè)命令行，我們可以使用URL中的PDF文件構(gòu)建知識(shí)庫(kù)。如果需要，你還可以添加更多URL。
# this is a great LLM introduction book with 231 pagesleet kb add-url -e .env.ollama -k llmbook -l info \-r https://arxiv.org/pdf/2501.09223
以下命令將使用LLM構(gòu)建指南中的內(nèi)容，使用R1模型回答問(wèn)題。
leet flow -t answer -e .env.ollama -k llmbook -p retriever_type=local -l info \-p output_language=cn -q 'How does the FineTune process Work?'
?? 資源使用情況
% ollama ps NAME ID SIZE PROCESSOR UNTIL deepseek-r1:1.5b a42b25d8c10a 1.6 GB 100% CPU 4 minutes from now nomic-embed-text:latest 0a109f422b47 370 MB 100% CPU 4 minutes from now聯(lián)系客服
