vLLM 私有化部署满血版 DeepSeek-R1-671B 模型

ingFang SC", "Helvetica Neue", Helvetica, Arial, sans-serif;letter-spacing: 0.578px;margin-bottom: 8px;font-size: 20px;padding-bottom: 12px;">服务器环境准备

ingFang SC", "Helvetica Neue", Helvetica, Arial, sans-serif;color: rgb(31, 35, 41);margin-bottom: 4px;word-break: break-all;min-height: 20px;">硬件配置：16 * H800，多机多卡，bfloat16 + FP8量化的混合精度推理，输出效率3秒/1token。

ingFang SC", "Helvetica Neue", Helvetica, Arial, sans-serif;letter-spacing: 0.578px;margin-bottom: 8px;font-size: 20px;padding-bottom: 12px;">安装Miniconda

ingFang SC", "Helvetica Neue", Helvetica, Arial, sans-serif;letter-spacing: 0.578px;margin-bottom: 8px;font-size: 18px;">下载 Miniconda 安装脚本

ingFang SC", "Helvetica Neue", Helvetica, Arial, sans-serif;color: rgb(31, 35, 41);margin-bottom: 4px;word-break: break-all;min-height: 20px;">打开终端，使用wget命令下载最新版本的 Miniconda 安装脚本：

wgethttps://repo.anaconda.com/miniconda/Miniconda3-latest-Linux-x86_64.sh

ingFang SC", "Helvetica Neue", Helvetica, Arial, sans-serif;color: rgb(31, 35, 41);margin-bottom: 4px;word-break: break-all;min-height: 20px;">注意：如果你的系统架构不是 x86_64，请访问Miniconda 官方下载页面获取适合你系统的安装包。

ingFang SC", "Helvetica Neue", Helvetica, Arial, sans-serif;letter-spacing: 0.578px;margin-bottom: 8px;font-size: 18px;">为安装脚本添加执行权限

ingFang SC", "Helvetica Neue", Helvetica, Arial, sans-serif;color: rgb(31, 35, 41);margin-bottom: 4px;word-break: break-all;min-height: 20px;">下载完成后，为脚本文件赋予可执行权限：

chmod+xMiniconda3-latest-Linux-x86_64.sh

ingFang SC", "Helvetica Neue", Helvetica, Arial, sans-serif;letter-spacing: 0.578px;margin-bottom: 8px;font-size: 18px;">运行安装脚本

ingFang SC", "Helvetica Neue", Helvetica, Arial, sans-serif;color: rgb(31, 35, 41);margin-bottom: 4px;word-break: break-all;min-height: 20px;">执行脚本开始安装：

./Miniconda3-latest-Linux-x86_64.sh

安装过程中，你会看到一些提示信息：

• 许可协议：按Enter键查看内容，输入yes同意许可协议。

• 安装路径：可以选择默认路径（通常是~/miniconda3），也可以指定其它路径。

• 初始化设置：安装完成后，安装程序会询问是否将 conda 初始化（即自动修改 shell 配置文件，如~/.bashrc），建议选择 yes。

激活 conda 环境

安装完成后，重新加载 shell 配置文件使更改生效（或者重启终端）：

source~/.bashrc

现在你可以通过以下命令检查 conda 是否安装成功：

conda--version

如果看到类似conda 4.x.x的版本信息，则说明安装成功。

创建并激活虚拟环境

conda create -n deepseek python==3.10
conda activate deepseek

Docker部署（服务器版本Ubuntu20.04系统）

更新软件包索引

sudoapt-getupdate

安装必要的软件包

sudoapt-getinstallapt-transport-httpsca-certificatescurlgnupglsb-release

添加阿里云官方 GPG 密钥

curl-fsSLhttp://mirrors.aliyun.com/docker-ce/linux/ubuntu/gpg|sudoapt-keyadd-

设置阿里云 Docker 仓库

sudosh-c'echo"deb[arch=amd64]http://mirrors.aliyun.com/docker-ce/linux/ubuntu$(lsb_release-cs)stable">/etc/apt/sources.list.d/docker.list'

安装docker

sudoapt-getupdate
sudo apt-get install docker-ce docker-ce-cli containerd.io

验证安装

sudosystemctlstatusdocker

输出激活，显示绿色代表已启动：（CTRL + C 退出）

查看Docker版本

docker--version

设置Docker开机自启服务

sudosystemctlenabledocker

验证是否开启自启功能

（如果输出是enabled，就已成功开启，如果不是需要进一步检查）

sudosystemctlis-enableddocker

配置Docker镜像加速

输入命令目录下添加daemon.json文件进行编辑：

sudonano/etc/docker/daemon.json

编辑内容如下：（内容粘贴进去，CTRL + O + ENTER保存，CTRL + X退出）

{
"registry-mirrors":[
"https://docker.211678.top",
"https://docker.1panel.live",
"https://hub.rat.dev",
"https://docker.m.daocloud.io",
"https://do.nark.eu.org",
"https://dockerpull.com",
"https://dockerproxy.cn"
]
}

重新加载Docker服务的配置文件

sudosystemctlreloaddocker

停止并重新启动Docker服务

sudosystemctlrestartdocker

再次检查Docker服务状态

sudosystemctlstatusdocker

运行一个简单的Docker容器测试

dockerrunhello-world

安装docker显卡驱动

wget https://developer.download.nvidia.cn/compute/cuda/repos/ubuntu2204/x86_64/nvidia-container-toolkit-base_1.13.5-1_amd64.deb
wgethttps://developer.download.nvidia.cn/compute/cuda/repos/ubuntu2204/x86_64/libnvidia-container-tools_1.13.5-1_amd64.deb
wget https://developer.download.nvidia.cn/compute/cuda/repos/ubuntu2204/x86_64/libnvidia-container1_1.13.5-1_amd64.deb

在服务器上安装：

sudodpkg-i/home/data01/libnvidia-container1_1.13.5-1_amd64.deb
sudodpkg-i/home/data01/libnvidia-container-tools_1.13.5-1_amd64.deb
sudodpkg-i/home/data01/nvidia-container-toolkit-base_1.13.5-1_amd64.deb
sudo dpkg -i /home/data01/nvidia-container-toolkit_1.13.5-1_amd64.deb

拉取DeepSeek-R1-671B模型

魔塔社区拉取DeepSeek-R1

地址链接：git clone https://www.modelscope.cn/deepseek-ai/DeepSeek-R1.git

删除rdma-userspace-config-bbc包

如果你不需要 RDMA 服务，可以尝试删除有问题的包：

sudoaptremoverdma-userspace-config-bbc

然后再执行以下命令来清理系统中的残留配置：

sudoaptautoremove
sudo apt clean

拉取模型文件之前下载LSF大文件存储

确保 Git 已安装

先检查是否安装了 Git：

git--version

如果没有安装，可以使用以下命令安装：

sudoaptupdate&&sudoaptinstallgit-y

安装 Git LFS

如果 Git LFS 未安装，可以使用以下命令安装：

Ubuntu/Debian

curl -s https://packagecloud.io/install/repositories/github/git-lfs/script.deb.sh | sudobash
sudo apt install git-lfs -y

初始化 Git LFS

安装完成后，运行以下命令初始化 Git LFS：

gitlfsinstall

拉取DeepSeek-R1-671B项目命令

gitclonehttps://www.modelscope.cn/deepseek-ai/DeepSeek-R1.git

• 运行此命令会卡住，模型正在下载，可以查看磁盘内存是否在减少确认

• 文件大约1.3T内存需要磁盘空间足够

df-h

输出服务器磁盘：
FilesystemSizeUsedAvailUse%Mountedon
tmpfs1.5T01.5T0%/dev/shm
tmpfs605G13M605G1%/run
tmpfs5.0M05.0M0%/run/lock
/dev/sda291G14G77G16%/
/dev/sda31.9G5.3M1.9G1%/boot/efi
/dev/sda4341G40K340G1%/home
/dev/nvme0n1p13.4T3.7G3.4T1%/home/data01
/dev/nvme2n1p13.4T24K3.4T1%/home/data03
/dev/nvme1n1p13.4T24K3.4T1%/home/data02
/dev/nvme3n1p13.4T24K3.4T1%/home/data04
tmpfs303G4.0K303G1%/run/user/0

（开200带宽，下载了大约需要8-10小时）

VLLM官网启动脚本

分布式部署官网参考链接：https://docs.vllm.ai/en/latest/serving/distributed_serving.html

在官网找到sh推理运行文件：

1. 1.打开官网链接下拉找到多节点运行VLLM标题

2. 2.在多节点标题下第二段第一行找到github链接

3. 3.进去之后就是一个脚本文件下载到电脑本地

首先在可以科学上网的服务器或者电脑本地拉取vllm

确保镜像已经存在

首先，检查是否已经成功拉取了vllm/vllm-openai镜像。在命令行中运行：

dockerimages

这会列出所有本地存在的镜像。如果vllm/vllm-openai不在列表中，说明你需要先拉取它。

拉取镜像

如果镜像没有找到，可以通过以下命令拉取vllm/vllm-openai镜像：

以下是win本地拉取：(打开命里提示符，保证电脑本地docker可以使用)

拉取vllm等待下载完成：

dockerpullvllm/vllm-openai

确认拉取成功

再次运行docker images，确认vllm/vllm-openai镜像已经出现在本地镜像列表中。

再次运行docker save

镜像拉取完成后，再次运行：

dockersave-ovllm.tarvllm/vllm-openai

如果一切顺利，应该能成功把镜像保存为.tar文件。

目前vllm.tar与run_cluster.sh都在电脑本地，手动拉取到服务器。

服务器联动文件运行

目前服务器有三个文件，模型文件，vllm文件，运行脚本文件

将主节点服务器的所有文件上传到从节点的同一位置两台机器是内网组网，可以选择其他上传方式)

rsync-avz/home/model/DeepSeek-R1root@XXX.XXX.XX.XX:/XXX/XX/

两台服务器分别进入存有vllm.tar的文件运行以下命令下载：

dockerload-ivllm.tar

下载结束后查看两台机器的ip

ipa

在主节点服务器运行：

bashrun_cluster.shvllm/vllm-openai192.168.0.113--head/home/data01/-v/home/data01/:/models-eVLLM_HOST_IP=192.168.0.113-eGLOO_SOCKET_IFNAME=eth0-eNCCL_SOCKET_IFNAME=eth0

在从节点服务器运行：

bashrun_cluster.shvllm/vllm-openai192.168.0.113--worker/home/data01/-v/home/data01/:/models-eVLLM_HOST_IP=192.168.0.116-eGLOO_SOCKET_IFNAME=eth0-eNCCL_SOCKET_IFNAME=eth0

新开终端页面查看docker镜像:

dockerps-a

进入docker镜像：

dockerexec-it<指定的ID><路径>

查看显卡问题：

raystatus

启动vllm服务：

vllmserve/models/DeepSeek-R1/--tensor-parallel-size8--pipeline-parallel-size2--served_model_namedeepseek_r1--enforce_eager--trust-remote-code--dtypefloat16

完事！