链载Ai

标题: 10分钟速览DeepSeek三大关键版本的核心技术点 [打印本页]
作者: 链载Ai    时间: 3 小时前
标题: 10分钟速览DeepSeek三大关键版本的核心技术点





DeepSeek模型凭借其“深度思考”“高性价比”“开源”的能力爆火中国AI圈，不少公司都在关注DeepSeek的最新的技术进展，旨在推动AI场景更快更好的落地。今天将会从技术视角分享DeepSeek三个关键版本的能力与优势，包括以下三部分：

1、技术视角如何看待DeepSeek出圈的原因；
2、DeepSeek不同版本模型的核心技术优势；
3、DeepSeek对AI圈的影响与未来发展趋势；


ingFang SC", "Hiragino Sans GB", "Microsoft YaHei UI", "Microsoft YaHei", Arial, sans-serif;letter-spacing: 0.544px;visibility: visible;">01
技术视角如何看待DeepSeek出圈的原因
DeepSeek出圈主要开始于春节期间，不仅AI从业者在关注，生活中的朋友家人也都知道了DeepSeek，现在已经可以用是否了解DeepSeek来对地球人进行分类。那么发展到全民热度的DeepSeek事件是怎么产生的呢？
我们先捋一下DeepSeek不同版本产品的时间线。
2023年11月Deepseek发布的V1版本，当时知道人非常少。
2024年5月发布了DeepSeek V2，这个版本比较重要，因为引发了第一场Token的价格战。
2024年11月份DeepSeek上线了推理模型R1 Lite，我们是在12月初开始试用这个模型，当时它已经具备一定的数学编程思考的能力。
2024年12月DeepSeek发布了V3，这是非常重磅的发布，在效率、性能方面有非常突出的工作能力。此时还没有引起AI界特别多的关注。
2025年1月，DeepSeek发布R1，引起了全民关注的出圈。
这里还要提一个重要事件，Open AI o1预览版本在2024年9月发布，这是第一个推理模型，o1的惊艳效果对大模型行业影响非常大，大家普遍认为类似o1的后训练方式是未来的方向，但是大家始终都猜不透Open AI是怎么做的这件事，也没有公布足够的技术细节。在后来很长一段时间内，没有哪家公司能够复现和o1同等效果的模型。因此，AI界苦苦等待了4个月，当DeepSeek R1出现并开源时，在全球范围内引起了巨大的轰动。
为什么DeepSeek R1会引起这么大的轰动呢？我认为原因有2点：
第一是当时的大模型技术架构逐渐趋同，每家AI企业在大模型上投入的沉没成本很高，会导致试错成本很高，很难再用一些特别革命性或者创新性的东西调整自己的研究方向。
第二是大家探索了很久，模型界也没有出现任何一个能够和OpenAI o1相匹配的产品，都还处于一个混沌的状态，都在猜测o1是如何实现的。
所以当DeepSeek R1出现后，在技术圈、企业圈里引起了全球范围的讨论，并逐步发酵出一些连带影响。
从个人视角来看，首先DeepSeek R1出圈的根本原因是效果好。一方面是在榜单对比上的效果很好，另一方面，在业务实际使用的效果上也非常好。其次是具备极致性价比，相比是大模型界的小米。在保持效果优秀的同时，价格更便宜。同时是开源的推理大模型，这对整个大模型生态有着非常大的影响，各家公司都可以按照同样的方式开发自己的推理大模型或者行业大模型。最后就是芯片卡脖子问题，DeepSeek提出的新架构，有可能让这一问题得到解决。
正是基于这些原因，也让DeepSeek成功取代了Meta，成为了开源世界新的领头羊。
ingFang SC", "Hiragino Sans GB", "Microsoft YaHei UI", "Microsoft YaHei", Arial, sans-serif;letter-spacing: 0.544px;visibility: visible;">02
DeepSeek三大关键版本的核心技术分享
1、DeepSeek V2模型
先了解下DeepSeek V2的模型信息，总参数量是236B，单个token推理激活的参数量是21B。看到下图右侧的坐标图，横坐标是单个token推理的激活参数量，纵坐标是效果。
从整体结果来说DeepSeek远超大部分模型。与LLaMA 3 70B 对比来看，在每个token推理激活的参数量不到LLaMA 3 70B一半的同时，效果做到了基本相同。和通义千问 1.5 72B相比，参数量也是大幅减小的状态。这也是 DeepSeek 打出的第一波价格战，把模型token的价格降到一个极低的水平的底气。
再从DeepSeek V2发布的技术报告中，发现有两大核心技术点创新，一个是DeepSeek MoE，第二个是MLA，这两大技术都延续到了V3。
第一个创新点是MoE，MoE是混合专家系统的缩写，它由多个专家组成，通过门控网络来决定每个数据应该被哪个专家去训练，从而减轻不同类型样本之间的干扰。当模型做单次推理的时候，可以选择是否把每一个专家都激活，如果需要激活每一个专家，那就是稠密的MoE，如果只从所有专家中挑选几个就是稀疏的MoE。当前大部分MoE模型都是稀疏的方式。
那么DeepSeek MoE有什么特点？DeepSeek MoE和Mistral MoE 有哪些区别？
首先DeepSeek的专家分为两类专家，一类是共享专家，共享专家是上图中绿色的部分，每次推理都会固定激活。另一类是路由专家，是上图蓝色的部分，每次推理会从路由专家中去挑选几个激活。最终的推理会通过共享专家加上路由专家一起完成。
因为路由专家每次都需要挑选，如果专家数比较少会相对容易控制，但是专家数多了就会出现负载均衡的问题。例如 Mistral 8x22B是有8个专家，每次推理从中挑选两个，而DeepSeek的路由专家数非常多，在 V3 的时候大概有256个路由专家，每次是从中选8个专家。如果没有很好的控制，可能会让某一部分专家的激活概率非常不均衡，这样会导致部分的专家信息过载，而部分的专家却没有得到足够的训练，最终导致专家路由崩塌。所以负载均衡是MoE大模型要解决的核心问题。
因此 Deepseek MoE 提出了一个相对创新的办法，采用无需辅助损失函数的负载均衡。借助这种方式，DeepSeek在V1阶段时，有2个共享专家，64个路由专家，每次激活6个路由专家，整体激活率是9.4%。到V2的时候，增加到160个路由专家，每次激活6个路由专家的激活率是3.7%。再到V3的时候，只有1个共享专家，有256个路由专家，每次激活8个专家，激活率在3.1%。可以看到这个比例一直在下降，模型效率也是在逐步提升。相比Mistral 8x22B从8个专家中激活2个的激活率是25%，所以对比之下，Mistral的MoE是比较稠密的，推理的效率没有DeepSeek高。
第二个技术创新点是MLA，是多头潜在注意力机制，可以提高Transformer模型在处理长序列时的效率和性能，由DeepSeek原创。DeepSeek通过MLA的方式，将KV-cache缓存减少了93.3%，是非常有效的举措。
2、DeepSeek V3模型
再来看看DeepSeek V3 ，除了包含 V2 的创新能力，还有三个创新点：第一个是工程架构、系统架构层面，有很多软硬结合，或者是纯硬件的创新；第二个是FP8的模型；第三个是MTP的多Token预测。
关于 FP8 可以先看下图左上角部分，能比较直观的理解到FP8可以通过降低精度极致的提升模型计算性能。
最深的色表示位数，FP32是32位，FP16是16位，FP8是8位，INT8是8位。
FP8的8位分为符号位、指数位和尾数位。一般 FB8有E4M3和E5M2两种方式，DeepSeek V3使用的是E4M3，即四位的指数位和三位的尾数位。
精度最高的一定是 FP32，因为小数位数多，可以把数字表达得更精确，在计算过程中的误差就小，但它占的空间大。如果用 FP8的话，它的空间只占8位，是FB32的1/ 4，所需空间显著减少，但也因为它位数少了，所以精度一定会有影响。
为了平衡精度跟误差的问题，DeepSeek在使用 FP8 模型时，对非常多的中间结果是用 FP32 和 FP16 表示的，这其中涉及到很多的升维和降维的转换工作，详细的部分可以去看一下DeepSeek发布的技术报告。
关于MTP，就是多 token 预测，可以看下图左下角。
以前token预测，是当用户输入一句话之后，只预测下一个token。现在MTP 是一次预测多个token，当预测了第一个 token 之后，会结合第一个 token 再去预测第二个token。
比如一次预测了三个token，当预测之后就去做验证，这就是第二阶段的验证，逐个判断每token是否正确，直到遇到错误，就把前面连续对的部分输出来，比如说这个例子里面它连续预测了3个token，那主干网络认为前两个是对的，就会直接把前两个一起输出。
3、DeepSeek R1模型
接下来讲一下DeepSeek R1，也是业界关注最多的模型。
从上图右侧众多的测评集里面，DeepSeek R1的效果基本上跟OpenAI o1是持平的，有些场景甚至比o1更好。
关于DeepSeek训练部分，可以看上图的左侧， R1分为两个版本，一个是R1 Zero，一个是R1。
R1 Zero是纯强化学习来训练，R1是有强化学习结合SFT。R1 Zero的训练过程中没有采用人类反馈的强化学习（RLHF），加入人类反馈后过程会比较慢，成本会非常高，而是直接使用多轮的强化学习迭代，直接训练推理模型。
但同时R1 Zero中也有一些问题，例如语言表达的人类难以理解，另外语种使用也比较混乱，所以DeepSeek就在 R1 Zero的基础上做了一些优化。为了让这个强化学习的效果更好，先做了一轮SFT，基于SFT得到的模型我们称为第一阶段模型。基于第一阶段模型再进行Zero的纯强化学习训练，同时为了让它的语言一致性更好，加入了语言一致性的奖励，这样就得到了第二阶段模型。在第二阶段模型基础上再做一次SFT，这次的SFT数据一部分是由 R1 Zero生成的60 万 COT的数据，另外一部分是一些非COT数据，这两部分数据共有80万，得到了第三阶段的模型。再基于第三阶段模型做全场景的、自动的强化学习，最终就得到 Deepseek R1。未来各个大模型公司会基于这个范式，对推理模型有更多新的探索。
关于没有人类参与的强化学习是如何设置奖励模式呢？
重点考虑两个点，第一个是准确性，直接看answer部分，因为奥数和算法编程都是有标准答案，可以自动对比大模型输出和标准答案判断是否正确，并不需要人工标注。
第二个是输出格式，因为需要能稳定输出think加answer的结构，这样才能输出一个稳定的推理结果，所以对格式也做了一部分奖励。
上图是关于奖励部分是比较清晰的公式计算，最终就能算出对每个结果的奖励是正向奖励还是负向奖励。因为DeepSeek公开了这部分信息，所以可以看到这个模式是非常清晰的，未来在这个范式下，在行业落地层面有很多参考价值。
那什么是“蒸馏模型”呢？
其实就是直接用前面提到的80万的训练数据，在其他开源模型上去做SFT，之后所得到的模型就是R1的蒸馏模型。
如果纯粹的把一个小模型分别强化学习和做蒸馏，它们的效果到底有多大区别？
例如同样是对千问32B，分别用R1 Zero的方式，做纯粹的强化学习来训练和直接用蒸馏的方式来训练，它的效果其实差别非常大。下图我们可以看到通过蒸馏方式的效果是远好于强化学习的。
所以未来大家在训练一些行业的推理模型时，到底是选择蒸馏还是强化学习，可能需要综合来看。最快的方式目前看是蒸馏，但是如果R1也不能得到准确的回答，那一定也蒸馏不出好的小模型，就需要使用R1类似的训练方式。如果是私有化部署R1蒸馏模型，非常推荐DeepSeek-R1-Distill-Qwen-32B的，综合性价比非常高。
部署成本也是大家比较关注的一个问题，除了大家在网上能查到的信息，我也有一些自己的建议分享给大家，根据不同的模型部署信息整理了一张图。
如果企业内部要进行私有化部署的版本，一定是按需去做，因为目前单次投入的硬件成本还是非常高的，现在满血版部署性价比最高的是8张H20（141GB版本）。
ingFang SC", "Hiragino Sans GB", "Microsoft YaHei UI", "Microsoft YaHei", Arial, sans-serif;letter-spacing: 0.544px;visibility: visible;">03

DeepSeek后续的影响

DeepSeek的出现无疑是让AI技术又向前进了一大步，关于AI落地部分要分别从应用端、模型端、生态端分别去考虑。
第一个应用端要考虑的是当token变得廉价。token成本显著降低使得以前不挣钱的生意，现在就变得挣钱了。商业模式会发生非常大的改变，或者说商业模式的估值发生了非常大的改变。典型的就是以消耗大量token为代价的商业模式，例如做情感陪伴聊天的企业是利好的。
第二个模型端要考虑行业大模型应该怎么去训练。2024年等行业大模型主要还是做基模，用行业数据做预训练和微调，但是没有行业的推理大模型。现在有了DeepSeek的样板，会推动行业推理大模型的蓬勃发展，这应该也有非常大的机会。
第三个生态端要考虑国产替换的问题。现在已经有很多国产芯片都已经支持了DeepSeek，可以看到国产生态正在飞快的发展和完善。






欢迎光临 链载Ai (https://www.lianzai.com/) Powered by Discuz! X3.5