|
写在前面： 市场上用于部署满血671B的h20机器，一台的价格差不多一百二三十万，这个价格对于很多用户来说是一个很大的挑战。在AI落地如火如荼的当下，想办法降低算力使用成本是快速拥抱AI时代的优先选项。老王研究了市场上的不少方案，并结合工作实践，推荐一个性价比不错的选择，只需花H20(141G)一半的钱就可以实现企业级环境下的fp8精度671B满血能力。 (文章较长，耐心看完有惊喜哦 ) 一、硬件系统需求
二、Ubuntu 22.04 Server版系统安装流程 本步骤过于简单，此处不再赘述 可参考：Ubuntu22.04 系统安装及配置 https://blog.csdn.net/cheagoun/article/details/139808169
三、KLLM一键化安装部署 补充说明： a.KLLM是清华大学MADSys团队开发的高性能大模型推理引擎。（年初火爆全网的KTransformers就是这个团队的杰作）。 b.KLLM分为开源版与商业版两个版本，火爆全网的KTransformers属于开源版，开源版仅适用于个人；若想在企业级环境中使用，得商业版才行。 具体步骤： 1、从正规渠道获取商业版的软件安装包后，将安装包放入移动硬盘 （本次安装包为：zhiwen-20250625_1520.tar.gz） 可联系老王获取商业版软件包 2、插入安装部署的移动硬盘，以sdb1为例 3、使用命令查看移动硬盘是否插入 lsblk 4、将移动硬盘挂载到系统中 sudo mkdir -p /mnt/usb sudo mount /dev/sdb1 /mnt/usb 5、复制安装包和模型到系统中 sudo mkdir -p /mnt/data/deploy sudo mkdir -p /mnt/data/models sudo cp -r /mnt/usb/zhiwen-20250625_1520.tar.gz /mnt/data/deploy/ sudo cp -r /mnt/usb/models/* /mnt/data/models/ 6、安装部署，等待执行完成之后即可 cd /mnt/data/deploy/20250625_1520 sudo bash install.sh
四、镜像更新 下载最新安装包，并解压到/mnt/data/deploy目录。 cd /mnt/data/deploy # 进入上一次的安装目录执行命令停止服务 sudo docker-compose -f docker-compose.yaml --env-file conf/config.env down # 在进入新解压目录执行命令进行更新 sudo bash install.sh -u
五、服务检查 1、KLLM启动模型 在KLLM启动模型： (KLLM支持20+模型部署，除了FP8精度的671B，还有不同精度的其他模型，如DeepSeek32B的int4、int8等多种精度部署) 填写到下面的高级设置中： 1.1、模型所需显存数量粗略计算 fp16 = 模型参数量 * 2 + 10G （比如14B模型全量，需要14 * 2 + 10 = 38 G）所以需要两张4090显卡 fp8 = 模型参数量 + 10G （比如32B-int8，需要 32 + 10 = 42 G）所以也需要两张4090显卡 1.2、查看模型最后支持的上下文长度 进入路径：/mnt/data/deploy/logs/ames/serve 并执行 ls -alh 2、跑671BFP8的实际测试数据
六、其他注意点 1、NVIDIA 显卡开启关闭ECC （针对48G卡，只显示46G显存的情况） • 查看ECC情况： nvidia-smi -q -d ecc 关闭状态如下图，否则图中的“N/A”是有值的。 • 开启关闭ECC 通过nvidia-smi -i n -e 0/1 -i：第n号GPU的ECC模式 -e：可关闭(0)/开启(1) 重启后该设置生效 示例: 关闭ECC：nvidia-smi -i 0 -e 0 开启ECC：nvidia-smi -i 0 -e 1 2、Ubuntu 22.04 版本内核禁止升级操作步骤 在Ubuntu 22.04上禁止内核自动升级，步骤如下： • 禁用unattended-upgrades “unattended-upgrades”是一个用于安装安全更新的软件包。要禁用它，首先打开“/etc/apt/apt.conf.d/20auto-upgrades”文件： vi /etc/apt/apt.conf.d/20auto-upgrades 将其中的“Unattended-Upgrade "1"; ”改为“Unattended-Upgrade "0";”以禁用自动更新，然后保存文件并退出。 APT: eriodic::Update-Package-Lists "1"; APT:eriodic::Unattended-Upgrade "0"; • 将当前内核版本锁定 要禁止特定的内核版本更新，您可以使用“apt-mark”命令将其锁定。 首先，检查当前的内核版本： uname -r 例如，如果内核版本是“5.15.0-136-generic”，您需要锁定所有与此版本相关的软件包。可执行以下命令： sudo apt-mark hold linux-image-5.15.0-136-generic linux-headers-5.15.0-136-generic linux-modules-5.15.0-136-generic linux-modules-extra-5.15.0-136-generic 查看是否锁定版本成功，显示hold表示锁定成功 dpkg --get-selections | grep linux-image • 禁用自动更新 要禁用所有自动更新，首先打开“/etc/apt/apt.conf.d/10periodic”文件： vi /etc/apt/apt.conf.d/10periodic 修改文件以将所有选项设置为“0”： APT:eriodic::Update-Package-Lists "0"； APT:eriodic: ownload-Upgradeable-Packages "0"； APT:eriodic::AutocleanInterval "0"； APT:eriodic::Unattended-Upgrade "0"； 保存文件并退出。 执行完以上步骤后，您的Ubuntu 22.04系统将不会自动升级内核 | 
