Ollama和llama.cpp都是比较常见的本地部署大模型的工具，借助他们普通的笔记本也可以跑大模型。 Ollama和llama.cpp名字里面都带了个llama容易造成选择困难。本文希望能借助一个实际的例子，帮助你快速做出选择。先说结论：如果只是本地部署不考虑性能的话闭眼选Ollama，如果要做"极致优化性能为王"就选llama.cpp. 后文会分别用Ollama和llama.cpp部署DeepSeek-R1 32B的实践说明如何得出这个结论的。 Ollama和llama.cpp里面都带了个llama，就是我们熟悉的Meta开源的llama模型。 起初Ollama和llama.cpp都是用来服务llama的， 后来就独立发展成了两个独立的软件了， 他们都有自己的社区。 这里想重点说明的是， Ollama用llama.cpp作为底层实现模型推理的。这一点可以从Ollama的源码中得到答案：Ollama代码的子目录llama里面就是包含了llama.cpp的代码， 并且通过llama.go文件将c++的接口导出到golang空间使用了。因此， 从源码的角度就可以认为llama.cpp就是Ollama的底层。 llama.cpp推荐的模型格式是GGUF， 为了公平让Ollama也使用同一个GGUF的模型。 我这里实验使用的是：DeepSeek-R1-Distill-Qwen-32B-Q5_K_M.gguf 模型。3.1 Ollama部署DeepSeek-R1 32B Ollama默认是不支持GGUF格式的，需要用Modelfile转换以下。步骤如下：- 创建一个名为deepseek-r1-32b.gguf文件， 内容如下：
FROM./bartowski/DeepSeek-R1-Distill-Qwen-32B-Q5_K_M.gguf ollamacreatemy-deepseek-r1-32b-gguf-f.\deepseek-r1-32b.gguf 就可以DeepSeek-R1 32B的GGUF模型导入到Ollama使用了ollamarunmy-deepseek-r1-32b-gguf:latest 这时可以正常加载了， 通过ollama ps命令可以看到进程信息如下：NAMEIDSIZEPROCESSORUNTILmy-deepseek-r1-32b-gguf:latestad9f11c41b7a25GB87%/13%CPU/GPU3minutesfromnow 可以看到，整个模型有25G， 87%加载到了CPU内存空间，13%加载到了GPU空间。实际使用发现推理是很慢的，但是还是可以用的。3.2 llama.cpp部署DeepSeek-R1 32B我用的是gitbash，因此llama.cpp的安装参考的是 参考：https://github.com/ggml-org/llama.cpp/blob/master/docs/build.md#git-bash-mingw64 你也可以根据自己的情况选择正确的参考内容进行安装。安装完后，用如下命令执行：build/bin/Release/llama-cli-m"/path/to/DeepSeek-R1-Distill-Qwen-32B-Q5_K_M.gguf"-ngl100-c16384-t10-n-2-cnv ggml_vulkan: Device memory allocation of size 1025355776 failed.ggml_vulkan: vk: evice::allocateMemory: ErrorOutOfDeviceMemoryllama_model_load: error loading model: unable to allocate Vulkan0 bufferllama_model_load_from_file_impl: failed to load modelcommon_init_from_params: failed to load model 'D:/llm/Model/bartowski/DeepSeek-R1-Distill-Qwen-32B-Q5_K_M.gguf'main: error: unable to load model
不过，既然我们已经知道了llama.cpp是Ollama的底层，那为什么llama.cpp的表现反而不如Ollama呢？这个就要说到Ollama自己做的一个优化了， 也就是llama.cpp的ngl参数。用llama.cpp部署的时候ngl参数是写死的，而Ollama则是自己根据模型文件动态计算的ngl参数。ngl参数的意思是将多少层加载到GPU去，我笔记本的GPU是4G显存，肯定不能将25G的DeepSeek加载进去的。因此llama.cpp的-ngl 100的用法肯定是不对的（100层基本就是全加载到GPU了），但是对于只有命令行的llama.cpp你也不好评估出-ngl应该取多少才能成功部署。那Ollama是怎么做的呢？答案在Ollama的源码memory.go里面。这个文件里面的如下函数实现了根据模型计算ngl值的功能：//GivenamodelandoneormoreGPUtargets,predicthowmanylayersandbyteswecanload,andthetotalsize//TheGPUsprovidedmustallbethesameLibraryfuncEstimateGPULayers(gpus[]discover.GpuInfo,f*ggml.GGML,projectors[]string,optsapi.Options)MemoryEstimate{//Graphsizeforapartialoffload,appliestoallGPUsvargraphPartialOffloaduint64//Graphsizewhenalllayersareoffloaded,appliestoallGPUsvargraphFullOffloaduint64//FinalgraphoffloadonceweknowfullorpartialvargraphOffloaduint64...限于篇幅我就没有完整列出这个代码了，感兴趣的可以自己看下。正是这个函数让Ollama动态的计算了ngl的值，从而做出了“87%加载到了CPU内存空间，13%加载到了GPU空间”的动作，最终成功部署DeepSeek-R1 32B的模型。 实话实说， 普通的笔记本能部署32B的模型真的是太强了，出乎意料。同样还是让它做前几天王毅外长交给DeepSeek的任务：翻译“他强任他强，清风拂山岗；他横任他横，明月照大江”。结果有点奇怪， 虽然也给出了部分翻译， 但是它理解错了任务。可能和资源首先Ollama做了其他的什么参数优化吧。 | 
