更上层楼！仅用2GB资源，让最火的DeepSeek-R1在本机上奔跑！

“

一夜之间，中国AI大模型DeepSeek-R1横扫硅谷，迅速引爆全球科技圈，英伟达AI科学家Jim Fan发文感叹：“一家非美国公司，正在让OpenAI的初衷得以延续——真正开放、为所有人赋能的前沿研究”。是的，DeepSeek-R1不仅性能媲美OpenAI O1，更做到了完全开源。

”

DeepSeek-R1模型的发布，让我们可以更好地使用开源大语言模型运行推理任务。现在，R1模型可以通过DeepSeek API获得，也就是说我们可以将其集成到我们的工作流程中。更好的消息是，Ollama在他们的库中添加了几个版本的R1模型，现在我们可以在本地使用Ollama运行R1模型。

现在你将可以做到一个命令建立你的本地知识库❗︎全程3分钟❗︎仅需2GB内存❗︎无需GPU运行❗︎安装即用❗︎快速使用❗︎

下面我们将使用「具有RAG功能的完整端到端文档管道」的AI搜索引擎开发框架LeetTools，在本地运行Ollama的R1模型。由于我们使用DuckDB作为后端，整个流程可以轻松地安装在一台具有16GB RAM且没有专用GPU的笔记本电脑中。

ingFang SC", system-ui, -apple-system, "system-ui", "Helvetica Neue", "Hiragino Sans GB", "Microsoft YaHei UI", "Microsoft YaHei", Arial, sans-serif;letter-spacing: 0.544px;background-color: rgb(255, 255, 255);visibility: visible;line-height: 1.75em;">

’

ingFang SC", "Hiragino Sans GB", "Microsoft YaHei UI", "Microsoft YaHei", Arial, sans-serif;text-align: justify;visibility: visible;">演示

? 安装 Ollama

1. 按照以下说明操作 https://github.com/ollama/ollama 安装ollama程序。

#iftheollamaprogramisnotrunning,startitwiththefollowingcommandollamaserve

2. 加载ollama 模型:

%ollamapulldeepseek-r1:1.5b%ollamapullnomic-embed-text

? 安装 LeetTools

% conda create -y -n leettools python=3.11% conda activate leettools% pip install leettools
# where we store all the data and logs% export LEET_HOME=${HOME}/leettools% mkdir -p ${LEET_HOME}
% cat > .env.ollama <<EOF# need tot change LEET_HOME to the correct pathLEET_HOME=</Users/myhome/leettools>EDS_DEFAULT_LLM_BASE_URL=http://localhost:11434/v1EDS_LLM_API_KEY=dummy-keyEDS_DEFAULT_INFERENCE_MODEL=deepseek-r1:1.5bEDS_DEFAULT_EMBEDDING_MODEL=nomic-embed-textEDS_EMBEDDING_MODEL_DIMENSION=768EOF

? 用一个命令建立你的本地知识库

通过一个命令行，我们可以使用URL中的PDF文件构建知识库。如果需要，你还可以添加更多URL。

#thisisagreatLLMintroductionbookwith231pagesleetkbadd-url-e.env.ollama-kllmbook-linfo\-rhttps://arxiv.org/pdf/2501.09223

‍

? 使用R1查询你的本地知识库

以下命令将使用LLM构建指南中的内容，使用R1模型回答问题。

leetflow-tanswer-e.env.ollama-kllmbook-pretriever_type=local-linfo\-poutput_language=cn-q"HowdoestheFineTuneprocessWork?"

?资源使用情况

这个过程最强的地方就是，整个管道只使用了大约2GB的内存，不需要特殊的GPU来运行：

1. 带有RAG服务后端的LeetTools文档管道使用了大约350MB的内存
2. R1型号使用大约1.6GB的内存，嵌入式型号使用大约370MB的内存

%ollamapsNAMEIDSIZEPROCESSORUNTILdeepseek-r1:1.5ba42b25d8c10a1.6GB100%CPU4minutesfromnownomic-embed-text:latest0a109f422b47370MB100%CPU4minutesfromnow