链载Ai

标题: Ollama和llama.cpp选型指南: 以DeepSeek-R1 32B 大模型部署实践为例 [打印本页]

作者: 链载Ai 时间: 2 小时前
标题: Ollama和llama.cpp选型指南: 以DeepSeek-R1 32B 大模型部署实践为例

1.背景

Ollama和llama.cpp都是比较常见的本地部署大模型的工具，借助他们普通的笔记本也可以跑大模型。 Ollama和llama.cpp名字里面都带了个llama容易造成选择困难。本文希望能借助一个实际的例子，帮助你快速做出选择。

先说结论：如果只是本地部署不考虑性能的话闭眼选Ollama，如果要做"极致优化性能为王"就选llama.cpp.

后文会分别用Ollama和llama.cpp部署DeepSeek-R1 32B的实践说明如何得出这个结论的。

2.Ollama和llama.cpp的关系

Ollama和llama.cpp里面都带了个llama，就是我们熟悉的Meta开源的llama模型。起初Ollama和llama.cpp都是用来服务llama的，后来就独立发展成了两个独立的软件了，他们都有自己的社区。

这里想重点说明的是， Ollama用llama.cpp作为底层实现模型推理的。这一点可以从Ollama的源码中得到答案：

Ollama代码的子目录llama里面就是包含了llama.cpp的代码，并且通过llama.go文件将c++的接口导出到golang空间使用了。因此，从源码的角度就可以认为llama.cpp就是Ollama的底层。

3.评测Ollama和llama.cpp

llama.cpp推荐的模型格式是GGUF，为了公平让Ollama也使用同一个GGUF的模型。我这里实验使用的是：DeepSeek-R1-Distill-Qwen-32B-Q5_K_M.gguf 模型。

3.1 Ollama部署DeepSeek-R1 32B

Ollama默认是不支持GGUF格式的，需要用Modelfile转换以下。步骤如下：

创建一个名为deepseek-r1-32b.gguf文件，内容如下：

FROM./bartowski/DeepSeek-R1-Distill-Qwen-32B-Q5_K_M.gguf

执行如下命令：

ollamacreatemy-deepseek-r1-32b-gguf-f.\deepseek-r1-32b.gguf

就可以DeepSeek-R1 32B的GGUF模型导入到Ollama使用了

执行命令启动该模型：

ollamarunmy-deepseek-r1-32b-gguf:latest

这时可以正常加载了，通过ollama ps命令可以看到进程信息如下：

NAMEIDSIZEPROCESSORUNTILmy-deepseek-r1-32b-gguf:latestad9f11c41b7a25GB87%/13%CPU/GPU3minutesfromnow

可以看到，整个模型有25G， 87%加载到了CPU内存空间，13%加载到了GPU空间。实际使用发现推理是很慢的，但是还是可以用的。

3.2 llama.cpp部署DeepSeek-R1 32B

我用的是gitbash，因此llama.cpp的安装参考的是参考：

https://github.com/ggml-org/llama.cpp/blob/master/docs/build.md#git-bash-mingw64

你也可以根据自己的情况选择正确的参考内容进行安装。安装完后，用如下命令执行：

build/bin/Release/llama-cli-m"/path/to/DeepSeek-R1-Distill-Qwen-32B-Q5_K_M.gguf"-ngl100-c16384-t10-n-2-cnv

结果如下：

ggml_vulkan: Device memory allocation of size 1025355776 failed.ggml_vulkan: vk:evice::allocateMemory: ErrorOutOfDeviceMemoryllama_model_load: error loading model: unable to allocate Vulkan0 bufferllama_model_load_from_file_impl: failed to load modelcommon_init_from_params: failed to load model 'D:/llm/Model/bartowski/DeepSeek-R1-Distill-Qwen-32B-Q5_K_M.gguf'main: error: unable to load model

直接就报错了。

4.为什么llama.cpp部署不了

到这里，相信你知道怎么选型了。

不过，既然我们已经知道了llama.cpp是Ollama的底层，那为什么llama.cpp的表现反而不如Ollama呢？这个就要说到Ollama自己做的一个优化了，也就是llama.cpp的ngl参数。用llama.cpp部署的时候ngl参数是写死的，而Ollama则是自己根据模型文件动态计算的ngl参数。

ngl参数的意思是将多少层加载到GPU去，我笔记本的GPU是4G显存，肯定不能将25G的DeepSeek加载进去的。因此llama.cpp的-ngl 100的用法肯定是不对的（100层基本就是全加载到GPU了），但是对于只有命令行的llama.cpp你也不好评估出-ngl应该取多少才能成功部署。

那Ollama是怎么做的呢？答案在Ollama的源码memory.go里面。这个文件里面的如下函数实现了根据模型计算ngl值的功能：

//GivenamodelandoneormoreGPUtargets,predicthowmanylayersandbyteswecanload,andthetotalsize//TheGPUsprovidedmustallbethesameLibraryfuncEstimateGPULayers(gpus[]discover.GpuInfo,f*ggml.GGML,projectors[]string,optsapi.Options)MemoryEstimate{//Graphsizeforapartialoffload,appliestoallGPUsvargraphPartialOffloaduint64//Graphsizewhenalllayersareoffloaded,appliestoallGPUsvargraphFullOffloaduint64//FinalgraphoffloadonceweknowfullorpartialvargraphOffloaduint64...

限于篇幅我就没有完整列出这个代码了，感兴趣的可以自己看下。正是这个函数让Ollama动态的计算了ngl的值，从而做出了“87%加载到了CPU内存空间，13%加载到了GPU空间”的动作，最终成功部署DeepSeek-R1 32B的模型。实话实说，普通的笔记本能部署32B的模型真的是太强了，出乎意料。

5.效果

同样还是让它做前几天王毅外长交给DeepSeek的任务：翻译“他强任他强，清风拂山岗；他横任他横，明月照大江”。

结果有点奇怪，虽然也给出了部分翻译，但是它理解错了任务。可能和资源首先Ollama做了其他的什么参数优化吧。

欢迎光临链载Ai (https://www.lianzai.com/)