|
ingFang SC", "Hiragino Sans GB", "Microsoft YaHei UI", "Microsoft YaHei", Arial, sans-serif;font-size: 16px;letter-spacing: 0.1em;color: rgb(63, 63, 63);">最近 DeepSeek出来了，很火，说是能跟ChatGpt o1 媲美，结果，用了DeepSeek的官方服务，提示“服务器繁忙 请稍后再试。”，我就想，算了，自己部署个吧。 我这个是基于docker部署的，首先要docker 支持 显卡，这样才会跑的更快，基于CPU 还是比较卡的，耗费的内存也比较多。 ingFang SC", "Hiragino Sans GB", "Microsoft YaHei UI", "Microsoft YaHei", Arial, sans-serif;font-size: 16px;letter-spacing: 0.1em;color: rgb(63, 63, 63);">部署非常方便，除了下载很慢，基本都是环境问题，环境解决完就没啥大问题。ingFang SC", "Hiragino Sans GB", "Microsoft YaHei UI", "Microsoft YaHei", Arial, sans-serif;display: table;padding: 0px 0.2em;color: rgb(255, 255, 255);background: rgb(15, 76, 129);">服务器基础资源ingFang SC", "Hiragino Sans GB", "Microsoft YaHei UI", "Microsoft YaHei", Arial, sans-serif;font-size: 16px;letter-spacing: 0.1em;color: rgb(63, 63, 63);">这就来个服务器部署，目前服务器资源大致如下:ingFang SC", "Hiragino Sans GB", "Microsoft YaHei UI", "Microsoft YaHei", Arial, sans-serif;font-size: 16px;letter-spacing: 0.1em;color: rgb(63, 63, 63);">操作系统 : Ubuntu 24.04
显卡：Tesla P100-PCIE-16GB * 2
CPU：48核
内存：64GingFang SC", "Hiragino Sans GB", "Microsoft YaHei UI", "Microsoft YaHei", Arial, sans-serif;display: table;padding: 0px 0.2em;color: rgb(255, 255, 255);background: rgb(15, 76, 129);">运行docker命令ingFang SC", "Hiragino Sans GB", "Microsoft YaHei UI", "Microsoft YaHei", Arial, sans-serif;font-feature-settings: normal;font-variation-settings: normal;font-size: 14px;margin: 10px 8px;color: rgb(201, 209, 217);background: rgb(13, 17, 23);text-align: left;line-height: 1.5;overflow-x: auto;border-radius: 8px;padding: 0px !important;">dockerrun--nameollama-d--restart=always--gpus=all-v/data/docker/ollama:/root/.ollama-p11434:11434ollama/ollamaingFang SC", "Hiragino Sans GB", "Microsoft YaHei UI", "Microsoft YaHei", Arial, sans-serif;font-size: 16px;letter-spacing: 0.1em;color: rgb(63, 63, 63);">运行完即可ingFang SC", "Hiragino Sans GB", "Microsoft YaHei UI", "Microsoft YaHei", Arial, sans-serif;font-size: 16px;letter-spacing: 0.1em;color: rgb(63, 63, 63);">然后，进入到容器内开始执行命令ingFang SC", "Hiragino Sans GB", "Microsoft YaHei UI", "Microsoft YaHei", Arial, sans-serif;font-feature-settings: normal;font-variation-settings: normal;font-size: 14px;margin: 10px 8px;color: rgb(201, 209, 217);background: rgb(13, 17, 23);text-align: left;line-height: 1.5;overflow-x: auto;border-radius: 8px;padding: 0px !important;">dockerexec-itollama/bin/sh然后执行 下载并运行32B 的模型 ollamarundeepseek-r1:32b 如果资源不够，可以运行 1.5b 或者 7B的模型 ollamarundeepseek-r1:1.5b 下载提示
如果像上面这样能得到MB以上的速度，就说明网络已经非常好了，实际上过一会儿就会降到几百KB，很慢，这个时候，我们只需要 Ctrl + C ，然后，重新输入下载的命令速度就会提升上来，重复此过程，可以加快下载。运行模型先给几个命令 ollama pull deepseek-r1:1.5b//拉取模型
ollama run deepseek-r1:1.5b//运行模型
ollama list //查看所有模型
允许防火墙，这样就可以在自己局域网电脑上访问了 sudoufwallow11434/tcp 来先看下都有什么模型 ollamalist 
有三个模型了好了，我们先运行模型 ollamarundeepseek-r1:32b 
直接提示要发送一个消息给它，我们给它一个消息，比如，DeepSeek为何如此优秀? 好吧，回答的好简短，好官方，然后，再问他，如何看待目前的各种AI产品？  这次就回答的特别多了。 现在模型部署好了，我们也可以通过 http地址来看当前 Ollama运行的状态如何. http://192.168.0.120:11434/  也可以通过 这个api查看部署的模型有什么 http://192.168.0.120:11434/api/tags  可以看到，我用Ollama部署了3个模型。 gpu资源耗费情况
可以看到还好，单卡16GB，还剩5GB 左右，留给其他业务使用。接口的方式来调用DeepSeekR1，控制台流式输出实际上Ollama部署好模型后，就可以直接用接口来调用了。 这个就是我自己调用接口实现的本地效果，也是很好用的，省的在docker里面敲来敲去。  主要用.net代码 引入一个nuget包 Codeblaze.SemanticKernel.Connectors.Ollama 具体代码如下: staticasyncTaskMain(string[]args)
{
varbuilder = Kernel.CreateBuilder().AddOllamaChatCompletion("deepseek-r1:32b","http://192.168.0.120:11434");
builder.Services.AddScoped<HttpClient>();
varkernel = builder.Build();
while(true)
{
stringinput ="";
Console.Write("请输入: ");
input = Console.ReadLine();
Console.WriteLine("");
varcontents = kernel.InvokePromptStreamingAsync(input);
if(contents ==null)
{
Console.WriteLine("Error: 内容为空!");
continue;
}
else
{
Console.WriteLine($"\nDeepseek: \n");
awaitforeach(varitemincontents)
{
Console.Write(item.ToString());
}
}
Console.WriteLine("");
}
}
|
