链载Ai

标题: DeepSeek-R1 671B KTransformer部署服务器配置 [打印本页]

作者: 链载Ai 时间: 前天 17:28
标题: DeepSeek-R1 671B KTransformer部署服务器配置

一、Inter平台

1，四代/五代处理器 + DDR5

说明：4代/5代金牌处理器 + DDR5内存，跑deepseek-r1 671b Q4可达13+tps，输出体验已经很丝滑了，土豪选择

2，三代处理器及以下 + DDR4

说明：3代处理器 + DDR4内存，跑deepseek-r1 671b Q2.51实测速度可稳定 7.5～8tps，e5处理器也可以跑出5～6tps还是比较意外

# 万元以下配置参考（Inter平台）

# E5平台万元以下配置参考（Inter平台）

二，AMD平台

1，EPYC 9xxx处理器 + DDR5

说明：AMD平台 9xxx处理器 + DDR5内存，跑deepseek-r1 671b Q4可达14～16tps，这速度体验相当可以了，土豪选择

2，EPYC 7xxx处理器 + DDR4

说明：EPYC 7xxx处理器 + DDR4，跑跑deepseek-r1 671b Q2/Q4 输出速度也可达 6～7tps，万元以下的满血体验

# 万元以下配置参考（EPYC平台）

欢迎光临链载Ai (https://www.lianzai.com/)