wgethttps://repo.anaconda.com/miniconda/Miniconda3-latest-Linux-x86_64.sh
chmod+xMiniconda3-latest-Linux-x86_64.sh
./Miniconda3-latest-Linux-x86_64.sh
安装过程中，你会看到一些提示信息：
许可协议：按Enter键查看内容，输入yes同意许可协议。
安装路径：可以选择默认路径（通常是~/miniconda3），也可以指定其它路径。
初始化设置：安装完成后，安装程序会询问是否将 conda 初始化（即自动修改 shell 配置文件，如~/.bashrc），建议选择 yes。
激活 conda 环境
安装完成后，重新加载 shell 配置文件使更改生效（或者重启终端）：
source~/.bashrc
现在你可以通过以下命令检查 conda 是否安装成功：
conda--version
如果看到类似conda 4.x.x的版本信息，则说明安装成功。
创建并激活虚拟环境
conda create -n deepseek python==3.10
conda activate deepseekDocker部署（服务器版本Ubuntu20.04系统）
更新软件包索引
sudoapt-getupdate
安装必要的软件包
sudoapt-getinstallapt-transport-httpsca-certificatescurlgnupglsb-release
添加阿里云官方 GPG 密钥
curl-fsSLhttp://mirrors.aliyun.com/docker-ce/linux/ubuntu/gpg|sudoapt-keyadd-
设置阿里云 Docker 仓库
sudosh-c'echo"deb[arch=amd64]http://mirrors.aliyun.com/docker-ce/linux/ubuntu$(lsb_release-cs)stable">/etc/apt/sources.list.d/docker.list'
安装docker
sudoapt-getupdate
sudo apt-get install docker-ce docker-ce-cli containerd.io验证安装
sudosystemctlstatusdocker
输出激活，显示绿色代表已启动：（CTRL + C 退出）
查看Docker版本
docker--version
设置Docker开机自启服务
sudosystemctlenabledocker
验证是否开启自启功能
（如果输出是enabled，就已成功开启，如果不是需要进一步检查）
sudosystemctlis-enableddocker
配置Docker镜像加速
输入命令目录下添加daemon.json文件进行编辑：
sudonano/etc/docker/daemon.json
编辑内容如下：（内容粘贴进去，CTRL + O + ENTER保存，CTRL + X退出）
{
"registry-mirrors":[
"https://docker.211678.top",
"https://docker.1panel.live",
"https://hub.rat.dev",
"https://docker.m.daocloud.io",
"https://do.nark.eu.org",
"https://dockerpull.com",
"https://dockerproxy.cn"
]
}重新加载Docker服务的配置文件
sudosystemctlreloaddocker
停止并重新启动Docker服务
sudosystemctlrestartdocker
再次检查Docker服务状态
sudosystemctlstatusdocker
运行一个简单的Docker容器测试
dockerrunhello-world
安装docker显卡驱动
wget https://developer.download.nvidia.cn/compute/cuda/repos/ubuntu2204/x86_64/nvidia-container-toolkit-base_1.13.5-1_amd64.deb
wgethttps://developer.download.nvidia.cn/compute/cuda/repos/ubuntu2204/x86_64/libnvidia-container-tools_1.13.5-1_amd64.deb
wget https://developer.download.nvidia.cn/compute/cuda/repos/ubuntu2204/x86_64/libnvidia-container1_1.13.5-1_amd64.deb在服务器上安装：
sudodpkg-i/home/data01/libnvidia-container1_1.13.5-1_amd64.deb
sudodpkg-i/home/data01/libnvidia-container-tools_1.13.5-1_amd64.deb
sudodpkg-i/home/data01/nvidia-container-toolkit-base_1.13.5-1_amd64.deb
sudo dpkg -i /home/data01/nvidia-container-toolkit_1.13.5-1_amd64.deb拉取DeepSeek-R1-671B模型
魔塔社区拉取DeepSeek-R1
地址链接：git clone https://www.modelscope.cn/deepseek-ai/DeepSeek-R1.git
删除rdma-userspace-config-bbc包
如果你不需要 RDMA 服务，可以尝试删除有问题的包：
sudoaptremoverdma-userspace-config-bbc
然后再执行以下命令来清理系统中的残留配置：
sudoaptautoremove
sudo apt clean拉取模型文件之前下载LSF大文件存储
确保 Git 已安装
先检查是否安装了 Git：
git--version
如果没有安装，可以使用以下命令安装：
sudoaptupdate&&sudoaptinstallgit-y
安装 Git LFS
如果 Git LFS 未安装，可以使用以下命令安装：
Ubuntu/Debian
curl -s https://packagecloud.io/install/repositories/github/git-lfs/script.deb.sh | sudobash
sudo apt install git-lfs -y初始化 Git LFS
安装完成后，运行以下命令初始化 Git LFS：
gitlfsinstall
拉取DeepSeek-R1-671B项目命令
gitclonehttps://www.modelscope.cn/deepseek-ai/DeepSeek-R1.git
运行此命令会卡住，模型正在下载，可以查看磁盘内存是否在减少确认
文件大约1.3T内存需要磁盘空间足够
df-h
输出服务器磁盘：
FilesystemSizeUsedAvailUse%Mountedon
tmpfs1.5T01.5T0%/dev/shm
tmpfs605G13M605G1%/run
tmpfs5.0M05.0M0%/run/lock
/dev/sda291G14G77G16%/
/dev/sda31.9G5.3M1.9G1%/boot/efi
/dev/sda4341G40K340G1%/home
/dev/nvme0n1p13.4T3.7G3.4T1%/home/data01
/dev/nvme2n1p13.4T24K3.4T1%/home/data03
/dev/nvme1n1p13.4T24K3.4T1%/home/data02
/dev/nvme3n1p13.4T24K3.4T1%/home/data04
tmpfs303G4.0K303G1%/run/user/0
（开200带宽，下载了大约需要8-10小时）VLLM官网启动脚本
分布式部署官网参考链接：https://docs.vllm.ai/en/latest/serving/distributed_serving.html
在官网找到sh推理运行文件：
1.打开官网链接下拉找到多节点运行VLLM标题
2.在多节点标题下第二段第一行找到github链接
3.进去之后就是一个脚本文件下载到电脑本地
首先在可以科学上网的服务器或者电脑本地拉取vllm
确保镜像已经存在
首先，检查是否已经成功拉取了vllm/vllm-openai镜像。在命令行中运行：
dockerimages
这会列出所有本地存在的镜像。如果vllm/vllm-openai不在列表中，说明你需要先拉取它。
拉取镜像
如果镜像没有找到，可以通过以下命令拉取vllm/vllm-openai镜像：
以下是win本地拉取：(打开命里提示符，保证电脑本地docker可以使用)
拉取vllm等待下载完成：
dockerpullvllm/vllm-openai
确认拉取成功
再次运行docker images，确认vllm/vllm-openai镜像已经出现在本地镜像列表中。
再次运行docker save
镜像拉取完成后，再次运行：
dockersave-ovllm.tarvllm/vllm-openai
如果一切顺利，应该能成功把镜像保存为.tar文件。
目前vllm.tar与run_cluster.sh都在电脑本地，手动拉取到服务器。
服务器联动文件运行
目前服务器有三个文件，模型文件，vllm文件，运行脚本文件
将主节点服务器的所有文件上传到从节点的同一位置
两台机器是内网组网，可以选择其他上传方式)
rsync-avz/home/model/DeepSeek-R1root@XXX.XXX.XX.XX:/XXX/XX/
两台服务器分别进入存有vllm.tar的文件运行以下命令下载：
dockerload-ivllm.tar
下载结束后查看两台机器的ip
ipa
在主节点服务器运行：
bashrun_cluster.shvllm/vllm-openai192.168.0.113--head/home/data01/-v/home/data01/:/models-eVLLM_HOST_IP=192.168.0.113-eGLOO_SOCKET_IFNAME=eth0-eNCCL_SOCKET_IFNAME=eth0
在从节点服务器运行：
bashrun_cluster.shvllm/vllm-openai192.168.0.113--worker/home/data01/-v/home/data01/:/models-eVLLM_HOST_IP=192.168.0.116-eGLOO_SOCKET_IFNAME=eth0-eNCCL_SOCKET_IFNAME=eth0
新开终端页面查看docker镜像:
dockerps-a
进入docker镜像：
dockerexec-it<指定的ID><路径>
查看显卡问题：
raystatus
启动vllm服务：
vllmserve/models/DeepSeek-R1/--tensor-parallel-size8--pipeline-parallel-size2--served_model_namedeepseek_r1--enforce_eager--trust-remote-code--dtypefloat16
完事！