DeepSeek开源FlashMLA，突破GPU性能极限

DeepSeek于2025年2月24日正式开源了其首个代码库FlashMLA，这是其“开源周”计划的首个项目，旨在通过优化GPU性能推动AI推理加速。

针对 Hopper GPU 的深度优化

FlashMLA是专为英伟达Hopper架构GPU（如H800）设计的高效解码内核，重点优化了可变长度序列处理能力。通过动态调整内存和计算资源，显著提升了大模型在长上下文场景（如对话、文档处理）下的推理效率。

核心技术

MLA架构（Multi-head Latent Attention）：通过改造注意力机制，压缩KV Cache大小，减少内存占用，从而在相同硬件条件下支持更长的上下文处理。标准Transformer的KV Cache随序列长度线性增长（复杂度O(n²)），导致长上下文场景下内存爆炸。潜在注意力压缩：通过低秩投影（Low-rank Projection）将多头注意力中的K/V矩阵压缩至潜在空间，将KV Cache体积减少60%-80%（例如原需40GB缓存可压缩至8-16GB）。

分页KV缓存（块大小64）：采用精细的内存管理策略，提升缓存利用率，降低延迟。

BF16精度支持：兼顾计算性能与内存效率，适配当前主流AI硬件需求。

性能表现

在H800 SXM5 GPU上的实测数据显示

• 内存带宽：内存受限场景下达到3000 GB/s，远超H800理论带宽上限（600 GB/s），接近硬件物理极限。

• 计算性能：计算受限场景下实现580 TFLOPS，逼近Hopper架构的理论峰值。

  
  

这一优化使大模型推理速度显著提升，尤其适用于实时生成任务（如聊天机器人、文本生成），同时降低部署成本

DeepSeek公布的对比实验数据揭示了FlashMLA的显著优势

FlashMLA不仅在训练阶段显著降低成本，更在长上下文推理场景中实现突破。其核心技术在于：

• 通信优化：通过专家梯度压缩算法，使All-to-All通信带宽需求降低62%
• 计算流水线重构：将FFN层的矩阵乘与激活函数执行时间重叠，提升指令级并行度
• 动态负载均衡：实时监控各专家的计算负载，通过异步调度避免资源闲置