基于Ubuntu Ollama 部署 DeepSeek-R1:32B 聊天大模型（附带流式接口调用示例） - 链载Ai

ingFang SC", "Hiragino Sans GB", "Microsoft YaHei UI", "Microsoft YaHei", Arial, sans-serif;font-size: 16px;letter-spacing: 0.1em;color: rgb(63, 63, 63);">最近 DeepSeek出来了，很火，说是能跟ChatGpt o1 媲美，结果，用了DeepSeek的官方服务，提示“服务器繁忙请稍后再试。”，我就想，算了，自己部署个吧。

我这个是基于docker部署的，首先要docker 支持显卡，这样才会跑的更快，基于CPU 还是比较卡的，耗费的内存也比较多。

ingFang SC", "Hiragino Sans GB", "Microsoft YaHei UI", "Microsoft YaHei", Arial, sans-serif;font-size: 16px;letter-spacing: 0.1em;color: rgb(63, 63, 63);">部署非常方便，除了下载很慢，基本都是环境问题，环境解决完就没啥大问题。

ingFang SC", "Hiragino Sans GB", "Microsoft YaHei UI", "Microsoft YaHei", Arial, sans-serif;display: table;padding: 0px 0.2em;color: rgb(255, 255, 255);background: rgb(15, 76, 129);">服务器基础资源

ingFang SC", "Hiragino Sans GB", "Microsoft YaHei UI", "Microsoft YaHei", Arial, sans-serif;font-size: 16px;letter-spacing: 0.1em;color: rgb(63, 63, 63);">这就来个服务器部署，目前服务器资源大致如下:

ingFang SC", "Hiragino Sans GB", "Microsoft YaHei UI", "Microsoft YaHei", Arial, sans-serif;font-size: 16px;letter-spacing: 0.1em;color: rgb(63, 63, 63);">操作系统 : Ubuntu 24.04
显卡：Tesla P100-PCIE-16GB * 2
CPU：48核
内存：64G

ingFang SC", "Hiragino Sans GB", "Microsoft YaHei UI", "Microsoft YaHei", Arial, sans-serif;display: table;padding: 0px 0.2em;color: rgb(255, 255, 255);background: rgb(15, 76, 129);">运行docker命令

ingFang SC", "Hiragino Sans GB", "Microsoft YaHei UI", "Microsoft YaHei", Arial, sans-serif;font-feature-settings: normal;font-variation-settings: normal;font-size: 14px;margin: 10px 8px;color: rgb(201, 209, 217);background: rgb(13, 17, 23);text-align: left;line-height: 1.5;overflow-x: auto;border-radius: 8px;padding: 0px !important;">dockerrun--nameollama-d--restart=always--gpus=all-v/data/docker/ollama:/root/.ollama-p11434:11434ollama/ollama

ingFang SC", "Hiragino Sans GB", "Microsoft YaHei UI", "Microsoft YaHei", Arial, sans-serif;font-size: 16px;letter-spacing: 0.1em;color: rgb(63, 63, 63);">运行完即可

ingFang SC", "Hiragino Sans GB", "Microsoft YaHei UI", "Microsoft YaHei", Arial, sans-serif;font-size: 16px;letter-spacing: 0.1em;color: rgb(63, 63, 63);">然后，进入到容器内开始执行命令

ingFang SC", "Hiragino Sans GB", "Microsoft YaHei UI", "Microsoft YaHei", Arial, sans-serif;font-feature-settings: normal;font-variation-settings: normal;font-size: 14px;margin: 10px 8px;color: rgb(201, 209, 217);background: rgb(13, 17, 23);text-align: left;line-height: 1.5;overflow-x: auto;border-radius: 8px;padding: 0px !important;">dockerexec-itollama/bin/sh

然后执行下载并运行32B 的模型

ollamarundeepseek-r1:32b

如果资源不够，可以运行 1.5b 或者 7B的模型

ollamarundeepseek-r1:1.5b

下载提示

如果像上面这样能得到MB以上的速度，就说明网络已经非常好了，实际上过一会儿就会降到几百KB，很慢，这个时候，我们只需要 Ctrl + C ，然后，重新输入下载的命令速度就会提升上来，重复此过程，可以加快下载。

运行模型

先给几个命令

ollama pull deepseek-r1:1.5b//拉取模型
ollama run deepseek-r1:1.5b//运行模型
ollama list //查看所有模型

允许防火墙，这样就可以在自己局域网电脑上访问了

sudoufwallow11434/tcp

来先看下都有什么模型

ollamalist

有三个模型了

好了，我们先运行模型

ollamarundeepseek-r1:32b

直接提示要发送一个消息给它，我们给它一个消息，比如，DeepSeek为何如此优秀?

好吧，回答的好简短，好官方，然后，再问他，如何看待目前的各种AI产品？

这次就回答的特别多了。

现在模型部署好了，我们也可以通过 http地址来看当前 Ollama运行的状态如何.

http://192.168.0.120:11434/

也可以通过这个api查看部署的模型有什么

http://192.168.0.120:11434/api/tags

可以看到，我用Ollama部署了3个模型。

gpu资源耗费情况

可以看到还好，单卡16GB，还剩5GB 左右，留给其他业务使用。

接口的方式来调用DeepSeekR1，控制台流式输出

实际上Ollama部署好模型后，就可以直接用接口来调用了。

这个就是我自己调用接口实现的本地效果，也是很好用的，省的在docker里面敲来敲去。

主要用.net代码

引入一个nuget包

Codeblaze.SemanticKernel.Connectors.Ollama

具体代码如下:

staticasyncTaskMain(string[]args)
{
 varbuilder = Kernel.CreateBuilder().AddOllamaChatCompletion("deepseek-r1:32b","http://192.168.0.120:11434");

  builder.Services.AddScoped<HttpClient>();
 varkernel = builder.Build();

 while(true)
  {
   stringinput ="";
    Console.Write("请输入: ");
    input = Console.ReadLine();
    Console.WriteLine("");
   varcontents = kernel.InvokePromptStreamingAsync(input);

   if(contents ==null)
    {
      Console.WriteLine("Error: 内容为空!");
     continue;
    }
   else
    {
      Console.WriteLine($"\nDeepseek: \n");
     awaitforeach(varitemincontents)
      {
        Console.Write(item.ToString());
      }
    }
    Console.WriteLine("");
  }
}