最近一年,大模型开源领域更加蓬勃发展,无论是模型参数规模的飞跃,还是在代码生成、数学推理、语言理解等多方面的能力提升,大模型已经成为推动 AI 应用和研究的重要基石。从 Transformer 的提出到 MoE(Mixture of Experts)技术的广泛应用,这些创新不断刷新人类对 AI 潜力的认知。
12月26日,DeepSeek 上线并开源了全新系列模型 DeepSeek-V3 的首个版本。DeepSeek-V3 为 DeepSeek 自研 MoE 模型,采用 FP8 训练 (原生 FP8 权重也已同步开源),671B 参数,激活 37B,在 14.8T token 上进行了预训练。DeepSeek-V3 训练消耗的算力仅为 Llama 3 4050B 的 1/11,但在性能上的表现却领先众多国内外优秀的大模型,其高效和对算力资源依赖之小令人惊艳。根据官方技术报告,DeepSeek-V3 针对分布式推理做了创新的优化,进而显著提升了分布式 MoE 模型的负载分配效率,从整个系统上为未来更大规模的模型提供了新的可扩展性框架的可能。通过算法和工程上的创新,相比前代 V2.5,DeepSeek-V3 的生成吐字速度提升了 3 倍。
司南 OpenCompass 第一时间对 DeepSeek-V3 进行了评测,评测结果已更新至司南大语言模型公开学术榜单。