Docker可以跑大模型了！！！

发行说明

2025年3月31，Docker Desktop发布了V4.40.0，该版本重点是支持从Docker Hub提取、运行和管理 AI 模型：

Release notes :https://docs.docker.com/desktop/release-notes/

在此之前，通过Docker部署大模型，必须先运行Ollama容器，再通过Ollama容器运行大模型。

现在，直接跑大模型了，这是一个好消息。

有好消息就有坏消息，坏消息是，当前只支持带有 Apple Silicon 的 Mac 版 Docker Desktop：

详细内容请查阅： https://docs.docker.com/desktop/features/model-runner/?uuid=66EBDDDD-7F8B-4743-AA27-F3BCA323736F

使用准备

安装Docker Desktop

访问 https://docs.docker.com/desktop/release-notes/ 点击下载链接：

已安装过就打开Docker Desktop，找到Software updates，点击“Check for updates”:

事实上，当打开Docker Desktop也会提醒更新。

启用模型运行器

找到Features in development，勾选Enable Docker Model Runner前的复选框：然后"Apply & restart"。

操作命令

拉取大模型

准备就绪后，在终端中执行大模型拉取命令：

docker model pull ai/deepseek-r1-distill-llama

当然，也可在Docker Desktop的搜索框里查找并拉取：

目前支持拉取的大模型参考：https://hub.docker.com/catalogs/gen-ai

查看拉取的大模型

docker model list

运行大模型

• 非交互式运行大模型

docker model run ai/deepseek-r1-distill-llama:latest "你好"

• 交互式运行大模型

docker model run ai/deepseek-r1-distill-llama:latest

删除大模型

docker model rm ai/deepseek-r1-distill-llama:latest

API调用

我尝试了官网说的其中2种调用方式，感觉都还行。

基于主机Unix 套接字

curl --unix-socket $HOME/.docker/run/docker.sock \
  localhost/exp/vDD4.40/engines/llama.cpp/v1/chat/completions \
  -H "Content-Type: application/json" \
  -d '{
    "model": "ai/deepseek-r1-distill-llama",
    "messages": [
      {
        "role": "system",
        "content": "你是一个幽默的人."
      },
      {
        "role": "user",
        "content": "请给我讲一个小猪的笑话。"
      }
    ]
  }'

效果：

基于本机TCP端口

#启用主机端 TCP 支持
docker desktop enable model-runner --tcp 12434


curl http://localhost:12434/engines/llama.cpp/v1/chat/completions \
-H "Content-Type: application/json" \
-d '{
"model": "ai/deepseek-r1-distill-llama",
"messages": [
 {
 "role": "system",
 "content": "你是一个会讲故事的人."
 },
 {
 "role": "user",
 "content": "请给我讲一个小马过河的故事。"
 }
]
}'

效果：