|
从 LLM 的挑战到 MoE 的突破随着人工智能技术的飞速发展，代码大语言模型（Code LLM）正在成为开发者工具链中的重要组成部分。从代码补全到错误修复，从多语言支持到复杂任务的自动化处理，代码大模型正在重新定义编程的效率和可能性。 然而，尽管代码大模型的能力不断提升，开发者在实际应用中仍面临性能与效率的平衡、多语言与多任务的支持两大挑战。为了解决这些问题，专家混合模型（Mixture of Experts, MoE） 应运而生。MoE 架构通过动态激活部分参数，显著降低了计算成本，同时提升了模型的灵活性和效率。蚂蚁集团正式开源 Ling-Coder-Lite —— 一款 MoE 架构的代码大语言模型，实现推理效率提升 1.5-2 倍，为 AI-IDE 代码补全等场景提供高效解决方案。希望为开发者提供高效、多功能且易于集成的代码生成和理解工具。本次发布关键总结如下： 模型和数据集开源：2 个轻量级代码大模型 Ling-Coder-Lite 和 Ling-Coder-Lite-Base 已在 Hugging Face 与 ModelScope 开源 。同时，蚂蚁集团开源用于退火训练的 SyntheticQA、用于后训练 SFT（Supervised Fine-tuning）和 DPO（Direct Preference Optimization）共计约 3000 万条数据（图 1(a)），支持社区进一步研究和开发。 技术细节公开：本次开源同步发布技术报告，公开更多关于高质量训练代码数据集构建方法，以及训练中数据分阶段混合配比策略的细节，助力行业共同推进代码大模型研究。 效率与效果平衡升级：基于 Ling-MoE 架构，Ling-Coder-Lite 总参数量为 16.8B，推理时激活参数仅为 2.75B ，同时兼顾了更高效率和更好效果。 多语言和多任务支持：Ling-Coder-Lite 支持 Python、Java、C++、JavaScript 等数十种常用编程语言，在 MultiPL-E 和 MBXP 等多语言基准测试中表现优秀；除简单的和多语言的代码生成之外，还支持竞赛类和应用类高级代码生成、代码理解和输入输出推理、数据科学和 SQL 类数据分析、代码修复等多个任务场景。
模型效果 在 12 个代码基准测试中，Ling-Coder 的表现和类似尺寸最佳模型（Qwen2.5-Coder-7B）不相上下（12 个中 7 个胜出），领先于 OpenCoder-8B 和 DeepSeek-Coder-V2-lite，具体参见图 1(b)； 推理效率比 Qwen2.5-Coder-7B 快1.5X~2X（图 1(c)），特别适合需要低延迟响应的场景，如 AI-IDE 中的代码补全。实际内部使用中，Ling-Coder-Lite 在相同延迟设定下，比此前基于 dense 架构的类似尺寸模型节省一半部署资源。
探索 Markdown 的奇妙世界  图 1: Ling-Coder-Lite 开源数据、模型代码能力及理论推理效率
- Ling-Coder-Lite 在退火和后训练过程中使用的部分高质数据（约 30M 样本）已开源；
- 类似参数规模的代码 LLM 在 12 个基准测试中的性能表现；
- 各种模型在性能（平均评估得分）与理论计算量（4096 上下文长度的单次推理所需的 TFLOPs）之间的对比。
ingFang SC", "Hiragino Sans GB", "Microsoft YaHei UI", "Microsoft YaHei", Arial, sans-serif;border-width: 0px;border-style: solid;border-color: hsl(var(--border));margin: 12px 8px 8px;text-align: justify;line-height: 1.75;letter-spacing: 0.1em;color: rgb(63, 63, 63);">未来，我们计划在多个维度上继续优化 Ling-Coder-Lite，包括：- 通过引入强化学习和执行反馈，提升模型在处理实际软工任务上的推理能力。
| 
