开源周连发五天,正当大家以为DeepSeek要收工时,它突然在知乎甩出一个彩蛋:《DeepSeek-V3/R1推理系统概览》。
原文:https://zhuanlan.zhihu.com/p/27181462601
弱弱说一句,DeepSeek刚入住知乎,这是第一篇也是唯一一篇文章,已收获粉丝2.2万。
看完之后,只有一句,牛逼!
文章直接明牌——理论成本利润率高达545%,比OpenAI便宜几十倍,还能日赚346万人民币。
下面给大家分享下这篇文章的主要内容。
——推理系统如何榨干每一块GPU?
DeepSeek这次公开的推理系统,目标简单粗暴:更大吞吐、更低延迟、更省成本。
专家并行(EP):传统大模型,一块GPU干所有活。DeepSeek的专家并行(EP)则把模型分散到多级多卡上并行计算。白天高峰时,278个节点(每节点8块H800 GPU)全力推理;夜间闲置时,直接切到研发训练,硬件利用率拉满。
计算通信重叠:跨节点协作最大的问题是通信延迟。DeepSeek的操作是:让计算和传输同时进行!
负载均衡:系统里最怕有的GPU累死,有的闲死。DeepSeek设计了三套动态均衡器:
最终单块H800的吞吐量:
DeepSeek技术开源如火如荼,OpenAI却给出了个那样的GPT-4.5。
真像别人说的:以前OpenAI负责技术,DeepSeek负责高情商,现在,反过来了。
哦不对,DeepSeek贴吧老哥一样的情商,GPT-4.5估计还达不到。
以下是最近开闭源动作的合订本,方便大家了解(参考知乎“吕阿华”回答)。
DeepSeek开源的技术很牛,但我感觉更牛的是:它证明了,除了“创意-PPT-讲故事”的模式外,专注于技术研发同样能够走向成功。
虽然成功的不是我,但同行者的光芒已经照亮了前行的路。
大家继续加油!
| 欢迎光临 链载Ai (https://www.lianzai.com/) | Powered by Discuz! X3.5 |