链载Ai

标题: 美团正式发布并开源 LongCat-Flash-Chat,动态计算开启高效 AI 时代 [打印本页]

作者: 链载Ai    时间: 2 小时前
标题: 美团正式发布并开源 LongCat-Flash-Chat,动态计算开启高效 AI 时代

今天,我们正式发布 LongCat-Flash-Chat,并同步开源。LongCat-Flash 采用创新性混合专家模型(Mixture-of-Experts, MoE)架构,总参数 560 B,激活参数 18.6B~31.3B(平均 27B),实现了计算效率与性能的双重优化。

根据多项基准测试综合评估,作为一款非思考型基础模型,LongCat-Flash-Chat 在仅激活少量参数的前提下,性能比肩当下领先的主流模型,尤其在智能体任务中具备突出优势。并且,因为面向推理效率的设计和创新,LongCat-Flash-Chat 具有明显更快的推理速度,更适合于耗时较长的复杂智能体应用。

目前,我们在Github、Hugging Face 平台同步开源,同时你也可以访问官网https://longcat.ai/,与 LongCat-Flash-Chat 开启对话。

/技术亮点/

LongCat-Flash 模型在架构层面引入“零计算专家(Zero-Computation Experts)”机制,总参数量 560 B,每个token 依据上下文需求仅激活 18.6B~31.3 B 参数,实现算力按需分配和高效利用。为控制总算力消耗,训练过程采用 PID 控制器实时微调专家偏置,将单 token 平均激活量稳定在约 27 B。

图1:LongCat-Flash 架构图

此外,LongCat-Flash在层间铺设跨层通道,使 MoE 的通信和计算能很大程度上并行,极大提高了训练和推理效率。配合定制化的底层优化,LongCat-Flash 在 30天内完成高效训练,并在 H800 上实现单用户 100+ tokens/s 的推理速度。LongCat-Flash 还对常用大模型组件和训练方式进行了改进,使用了超参迁移和模型层叠加的方式进行训练,并结合了多项策略保证训练稳定性,使得训练全程高效且顺利。

针对智能体(Agentic)能力,LongCat-Flash 自建了Agentic评测集指导数据策略,并在训练全流程进行了全面的优化,包括使用多智能体方法生成多样化高质量的轨迹数据等,实现了优异的智能体能力。

通过算法和工程层面的联合设计,LongCat-Flash 在理论上的成本和速度都大幅领先行业同等规模、甚至规模更小的模型;通过系统优化,LongCat-Flash 在 H800 上达成了 100 tokens/s 的生成速度,在保持极致生成速度的同时,输出成本低至 5元/百万 token。

/性能评估/

全面且严谨的评估表明,LongCat-Flash 是一款强大且全能的模型,它在多个领域表现出卓越的性能优势。以下将从不同维度详细解读:

图2:LongCat-Flash 的基准测试性能

/模型部署/

我们同步提供了分别基于 SGLang 和 vLLM 的两种高效部署方案,助您轻松部署、快速体验模型效果。

以下为使用SGLang进行单机部署的示例:

python3-msglang.launch_server\--modelmeituan-longcat/LongCat-Flash-Chat-FP8\--trust-remote-code\--attention-backendflashinfer\--enable-ep-moe\--tp8






欢迎光临 链载Ai (https://www.lianzai.com/) Powered by Discuz! X3.5