链载Ai
标题: 突发,美团推出 560B 开源模型,名为长猫 [打印本页]
作者: 链载Ai 时间: 2 小时前
标题: 突发,美团推出 560B 开源模型,名为长猫
ingFang SC", Cambria, Cochin, Georgia, Times, "Times New Roman", serif;font-style: normal;font-variant-ligatures: normal;font-variant-caps: normal;font-weight: 400;orphans: 2;text-align: justify;text-indent: 0px;text-transform: none;widows: 2;-webkit-text-stroke-width: 0px;white-space: normal;background-color: rgb(255, 255, 255);text-decoration-thickness: initial;text-decoration-style: initial;text-decoration-color: initial;">美团入局大模型战场了!ingFang SC", Cambria, Cochin, Georgia, Times, "Times New Roman", serif;font-style: normal;font-variant-ligatures: normal;font-variant-caps: normal;font-weight: 400;orphans: 2;text-align: justify;text-indent: 0px;text-transform: none;widows: 2;-webkit-text-stroke-width: 0px;white-space: normal;background-color: rgb(255, 255, 255);text-decoration-thickness: initial;text-decoration-style: initial;text-decoration-color: initial;">这次推出的LongCat-Flash有5600亿参数,采用MoE架构,但真正有意思的是它的动态计算机制——ingFang SC", Cambria, Cochin, Georgia, Times, "Times New Roman", serif;font-style: normal;font-variant-ligatures: normal;font-variant-caps: normal;font-weight: 400;orphans: 2;text-align: justify;text-indent: 0px;text-transform: none;widows: 2;-webkit-text-stroke-width: 0px;white-space: normal;background-color: rgb(255, 255, 255);text-decoration-thickness: initial;text-decoration-style: initial;text-decoration-color: initial;">根据上下文需求激活186亿到313亿参数,平均约270亿。ingFang SC", Cambria, Cochin, Georgia, Times, "Times New Roman", serif;font-style: normal;font-variant-ligatures: normal;font-variant-caps: normal;font-weight: 400;orphans: 2;text-align: justify;text-indent: 0px;text-transform: none;widows: 2;-webkit-text-stroke-width: 0px;white-space: normal;background-color: rgb(255, 255, 255);text-decoration-thickness: initial;text-decoration-style: initial;text-decoration-color: initial;">这意味着,模型会根据任务复杂度自动调节计算资源,不再是「一刀切」的参数激活。ingFang SC", Cambria, Cochin, Georgia, Times, "Times New Roman", serif;font-style: normal;font-variant-ligatures: normal;font-variant-caps: normal;letter-spacing: normal;orphans: 2;text-align: justify;text-indent: 0px;text-transform: none;widows: 2;word-spacing: 0px;-webkit-text-stroke-width: 0px;white-space: normal;background-color: rgb(255, 255, 255);text-decoration-thickness: initial;text-decoration-style: initial;text-decoration-color: initial;">动态计算ingFang SC", Cambria, Cochin, Georgia, Times, "Times New Roman", serif;font-style: normal;font-variant-ligatures: normal;font-variant-caps: normal;font-weight: 400;orphans: 2;text-align: justify;text-indent: 0px;text-transform: none;widows: 2;-webkit-text-stroke-width: 0px;white-space: normal;background-color: rgb(255, 255, 255);text-decoration-thickness: initial;text-decoration-style: initial;text-decoration-color: initial;">LongCat-Flash最大的亮点是动态计算机制。ingFang SC", Cambria, Cochin, Georgia, Times, "Times New Roman", serif;font-style: normal;font-variant-ligatures: normal;font-variant-caps: normal;font-weight: 400;orphans: 2;text-align: justify;text-indent: 0px;text-transform: none;widows: 2;-webkit-text-stroke-width: 0px;white-space: normal;background-color: rgb(255, 255, 255);text-decoration-thickness: initial;text-decoration-style: initial;text-decoration-color: initial;">不是所有token都需要同等计算资源,重要的token会获得更多参数激活。ingFang SC", Cambria, Cochin, Georgia, Times, "Times New Roman", serif;font-style: normal;font-variant-ligatures: normal;font-variant-caps: normal;font-weight: 400;orphans: 2;text-align: justify;text-indent: 0px;text-transform: none;widows: 2;-webkit-text-stroke-width: 0px;white-space: normal;background-color: rgb(255, 255, 255);text-decoration-thickness: initial;text-decoration-style: initial;text-decoration-color: initial;">具体来说:ingFang SC", Cambria, Cochin, Georgia, Times, "Times New Roman", serif;font-size: 16px;font-style: normal;font-variant-ligatures: normal;font-variant-caps: normal;font-weight: 400;letter-spacing: normal;orphans: 2;text-align: justify;text-indent: 0px;text-transform: none;widows: 2;word-spacing: 0px;-webkit-text-stroke-width: 0px;white-space: normal;background-color: rgb(255, 255, 255);text-decoration-thickness: initial;text-decoration-style: initial;text-decoration-color: initial;" class="list-paddingleft-1">ingFang SC", Cambria, Cochin, Georgia, Times, "Times New Roman", serif;font-style: normal;font-variant-ligatures: normal;font-variant-caps: normal;font-weight: 400;orphans: 2;text-align: justify;text-indent: 0px;text-transform: none;widows: 2;-webkit-text-stroke-width: 0px;white-space: normal;background-color: rgb(255, 255, 255);text-decoration-thickness: initial;text-decoration-style: initial;text-decoration-color: initial;">为了保持计算负载稳定,团队使用了PID控制器调整专家偏置,确保平均激活参数稳定在270亿左右。ScMoE架构解决通信瓶颈
MoE模型扩展时,通信开销是个大问题。
LongCat-Flash采用了Shortcut-connected MoE (ScMoE)设计,扩大了计算-通信重叠窗口。
结合定制化基础设施优化,这个设计让模型能在数万个加速器上训练,推理速度超过每秒100个token。
从小到大的训练策略
美团团队开发了一套完整的稳定性和扩展框架:
超参数迁移策略:从小型代理模型预测最优配置,有理论保证。
模型增长机制:基于半规模检查点初始化,性能优于传统方法。
多管齐下的稳定性套件:包括路由器梯度平衡、隐藏z-loss抑制大规模激活、优化器配置微调。
确定性计算:保证实验的精确可重现性,能在训练过程中检测SDC(静默数据损坏)。
这些措施确保LongCat-Flash训练稳定,没有不可恢复的损失尖峰。
全面对标顶级模型
在官方公布的各项基准测试中,LongCat-Flash表现出色:
| 基准测试 | GPT-4.1 | Claude4 Sonnet | Gemini2.5 Flash | LongCat-Flash |
|---|
| 通用领域 | | | | |
| | | | 89.71 |
| | | | 86.50 |
| | | | 90.44 |
| 指令遵循 | | | | |
| | | | 89.65 |
| | | | 57.10 |
| | | | 43.03 |
| 数学推理 | | | | |
| | | | 96.40 |
| | | | 61.25 |
| 代码能力 | | | | |
| | | | 48.02 |
| | | | 60.40 |
| | | | 39.51 |
特别值得注意的是,LongCat-Flash在TerminalBench和TauBench等智能体任务上达到了SOTA水平。
部署支持SGLang和vLLM
美团已经在SGLang和vLLM中实现了基础适配,支持LongCat-Flash的部署,MIT协议,已在HuggingFace开源。
模型访问
# API访问
model_string ='claude-opus-4-1-20250805'
# HuggingFace模型
fromtransformersimportAutoModelForCausalLM
model = AutoModelForCausalLM.from_pretrained("meituan-longcat/LongCat-Flash-Chat")
Chat模板示例
# 单轮对话
"[Round 0] USER:{query} ASSISTANT:"
# 多轮对话
"SYSTEM:{system_prompt} [Round 0] USER:{query} ASSISTANT:{response}</longcat_s>... [Round N] USER:{query} ASSISTANT:"
# 工具调用
"<longcat_tool_call>
{'name': <function-name>, 'arguments': <args-dict>}
</longcat_tool_call>"
小测一把
域名是:https://longcat.ai,不过点击后会跳转到:https://longcat.chat/,需要用美团APP 扫码登录:
还是那道模型靠谱度的标准考题:
我有70块钱,我借给小明五十块钱,他又用这五十块在我这里买了五十块钱的水果。第二天我借给小明30块钱,小明用这30块钱买了30块钱的牛奶,小明还欠我多少钱?请先推理,最后给出结论
token 倒是吐得很快,但可惜——
没答对。
不过“深度思考”还没放开,也许能答对。
美团这次推出LongCat-Flash,标志着中国科技公司在大模型领域的又多了一名重磅玩家。
虽然简单测下来,效果不算惊艳,但美团入局,实力绝对不容小觑。
不过,得吐槽一句:
你是真会挑时间!
| 欢迎光临 链载Ai (https://www.lianzai.com/) |
Powered by Discuz! X3.5 |