返回顶部
热门问答 更多热门问答
技术文章 更多技术文章

突发,美团推出 560B 开源模型,名为长猫

[复制链接]
链载Ai 显示全部楼层 发表于 昨天 19:25 |阅读模式 打印 上一主题 下一主题

ingFang SC", Cambria, Cochin, Georgia, Times, "Times New Roman", serif;font-style: normal;font-variant-ligatures: normal;font-variant-caps: normal;font-weight: 400;orphans: 2;text-align: justify;text-indent: 0px;text-transform: none;widows: 2;-webkit-text-stroke-width: 0px;white-space: normal;background-color: rgb(255, 255, 255);text-decoration-thickness: initial;text-decoration-style: initial;text-decoration-color: initial;">美团入局大模型战场了!

ingFang SC", Cambria, Cochin, Georgia, Times, "Times New Roman", serif;font-style: normal;font-variant-ligatures: normal;font-variant-caps: normal;font-weight: 400;orphans: 2;text-align: justify;text-indent: 0px;text-transform: none;widows: 2;-webkit-text-stroke-width: 0px;white-space: normal;background-color: rgb(255, 255, 255);text-decoration-thickness: initial;text-decoration-style: initial;text-decoration-color: initial;">这次推出的LongCat-Flash有5600亿参数,采用MoE架构,但真正有意思的是它的动态计算机制——

ingFang SC", Cambria, Cochin, Georgia, Times, "Times New Roman", serif;font-style: normal;font-variant-ligatures: normal;font-variant-caps: normal;font-weight: 400;orphans: 2;text-align: justify;text-indent: 0px;text-transform: none;widows: 2;-webkit-text-stroke-width: 0px;white-space: normal;background-color: rgb(255, 255, 255);text-decoration-thickness: initial;text-decoration-style: initial;text-decoration-color: initial;">根据上下文需求激活186亿到313亿参数,平均约270亿。

ingFang SC", Cambria, Cochin, Georgia, Times, "Times New Roman", serif;font-style: normal;font-variant-ligatures: normal;font-variant-caps: normal;font-weight: 400;orphans: 2;text-align: justify;text-indent: 0px;text-transform: none;widows: 2;-webkit-text-stroke-width: 0px;white-space: normal;background-color: rgb(255, 255, 255);text-decoration-thickness: initial;text-decoration-style: initial;text-decoration-color: initial;">这意味着,模型会根据任务复杂度自动调节计算资源,不再是「一刀切」的参数激活。

ingFang SC", Cambria, Cochin, Georgia, Times, "Times New Roman", serif;font-style: normal;font-variant-ligatures: normal;font-variant-caps: normal;letter-spacing: normal;orphans: 2;text-align: justify;text-indent: 0px;text-transform: none;widows: 2;word-spacing: 0px;-webkit-text-stroke-width: 0px;white-space: normal;background-color: rgb(255, 255, 255);text-decoration-thickness: initial;text-decoration-style: initial;text-decoration-color: initial;">动态计算

ingFang SC", Cambria, Cochin, Georgia, Times, "Times New Roman", serif;font-style: normal;font-variant-ligatures: normal;font-variant-caps: normal;font-weight: 400;orphans: 2;text-align: justify;text-indent: 0px;text-transform: none;widows: 2;-webkit-text-stroke-width: 0px;white-space: normal;background-color: rgb(255, 255, 255);text-decoration-thickness: initial;text-decoration-style: initial;text-decoration-color: initial;">LongCat-Flash最大的亮点是动态计算机制

ingFang SC", Cambria, Cochin, Georgia, Times, "Times New Roman", serif;font-style: normal;font-variant-ligatures: normal;font-variant-caps: normal;font-weight: 400;orphans: 2;text-align: justify;text-indent: 0px;text-transform: none;widows: 2;-webkit-text-stroke-width: 0px;white-space: normal;background-color: rgb(255, 255, 255);text-decoration-thickness: initial;text-decoration-style: initial;text-decoration-color: initial;">不是所有token都需要同等计算资源,重要的token会获得更多参数激活。

ingFang SC", Cambria, Cochin, Georgia, Times, "Times New Roman", serif;font-style: normal;font-variant-ligatures: normal;font-variant-caps: normal;font-weight: 400;orphans: 2;text-align: justify;text-indent: 0px;text-transform: none;widows: 2;-webkit-text-stroke-width: 0px;white-space: normal;background-color: rgb(255, 255, 255);text-decoration-thickness: initial;text-decoration-style: initial;text-decoration-color: initial;">具体来说:

    ingFang SC", Cambria, Cochin, Georgia, Times, "Times New Roman", serif;font-size: 16px;font-style: normal;font-variant-ligatures: normal;font-variant-caps: normal;font-weight: 400;letter-spacing: normal;orphans: 2;text-align: justify;text-indent: 0px;text-transform: none;widows: 2;word-spacing: 0px;-webkit-text-stroke-width: 0px;white-space: normal;background-color: rgb(255, 255, 255);text-decoration-thickness: initial;text-decoration-style: initial;text-decoration-color: initial;" class="list-paddingleft-1">
  • 总参数:5600亿

  • 激活参数:186亿~313亿(动态调整)

  • 平均激活:约270亿

ingFang SC", Cambria, Cochin, Georgia, Times, "Times New Roman", serif;font-style: normal;font-variant-ligatures: normal;font-variant-caps: normal;font-weight: 400;orphans: 2;text-align: justify;text-indent: 0px;text-transform: none;widows: 2;-webkit-text-stroke-width: 0px;white-space: normal;background-color: rgb(255, 255, 255);text-decoration-thickness: initial;text-decoration-style: initial;text-decoration-color: initial;">为了保持计算负载稳定,团队使用了PID控制器调整专家偏置,确保平均激活参数稳定在270亿左右。

ScMoE架构解决通信瓶颈

MoE模型扩展时,通信开销是个大问题。

LongCat-Flash采用了Shortcut-connected MoE (ScMoE)设计,扩大了计算-通信重叠窗口。

结合定制化基础设施优化,这个设计让模型能在数万个加速器上训练,推理速度超过每秒100个token

从小到大的训练策略

美团团队开发了一套完整的稳定性和扩展框架:

超参数迁移策略:从小型代理模型预测最优配置,有理论保证。

模型增长机制:基于半规模检查点初始化,性能优于传统方法。

多管齐下的稳定性套件:包括路由器梯度平衡、隐藏z-loss抑制大规模激活、优化器配置微调。

确定性计算:保证实验的精确可重现性,能在训练过程中检测SDC(静默数据损坏)。

这些措施确保LongCat-Flash训练稳定,没有不可恢复的损失尖峰

全面对标顶级模型

在官方公布的各项基准测试中,LongCat-Flash表现出色:

基准测试GPT-4.1Claude4 SonnetGemini2.5 FlashLongCat-Flash
通用领域




MMLU
89.64
91.75
86.33
89.71
ArenaHard-V2
61.50
62.10
77.00
86.50
CEval
79.53
86.63
78.78
90.44
指令遵循




IFEval
85.58
88.35
83.92
89.65
COLLIE
50.00
51.22
48.60
57.10
Meeseeks-zh
41.54
35.07
34.84
43.03
数学推理




MATH500
90.60
93.80
98.40
96.40
AIME25
32.00
37.00
67.33
61.25
代码能力




LiveCodeBench
39.21
45.59
39.65
48.02
SWE-Bench-Verified
48.60
68.00
40.60
60.40
TerminalBench
28.40
40.74
12.35
39.51

特别值得注意的是,LongCat-Flash在TerminalBenchTauBench等智能体任务上达到了SOTA水平。

部署支持SGLang和vLLM

美团已经在SGLang和vLLM中实现了基础适配,支持LongCat-Flash的部署,MIT协议,已在HuggingFace开源。

模型访问

# API访问
model_string ='claude-opus-4-1-20250805'

# HuggingFace模型
fromtransformersimportAutoModelForCausalLM
model = AutoModelForCausalLM.from_pretrained("meituan-longcat/LongCat-Flash-Chat")

Chat模板示例

# 单轮对话
"[Round 0] USER:{query} ASSISTANT:"

# 多轮对话
"SYSTEM:{system_prompt} [Round 0] USER:{query} ASSISTANT:{response}</longcat_s>... [Round N] USER:{query} ASSISTANT:"

# 工具调用
"<longcat_tool_call>
{'name': <function-name>, 'arguments': <args-dict>}
</longcat_tool_call>"

小测一把

域名是:https://longcat.ai,不过点击后会跳转到:https://longcat.chat/,需要用美团APP 扫码登录:

还是那道模型靠谱度的标准考题:

我有70块钱,我借给小明五十块钱,他又用这五十块在我这里买了五十块钱的水果。第二天我借给小明30块钱,小明用这30块钱买了30块钱的牛奶,小明还欠我多少钱?请先推理,最后给出结论

token 倒是吐得很快,但可惜——

没答对。

不过“深度思考”还没放开,也许能答对。

美团这次推出LongCat-Flash,标志着中国科技公司在大模型领域的又多了一名重磅玩家。

虽然简单测下来,效果不算惊艳,但美团入局,实力绝对不容小觑。

不过,得吐槽一句:

你是真会挑时间!

回复

使用道具 举报

您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

链载AI是专业的生成式人工智能教程平台。提供Stable Diffusion、Midjourney AI绘画教程,Suno AI音乐生成指南,以及Runway、Pika等AI视频制作与动画生成实战案例。从提示词编写到参数调整,手把手助您从入门到精通。
  • 官方手机版

  • 微信公众号

  • 商务合作

  • Powered by Discuz! X3.5 | Copyright © 2025-2025. | 链载Ai
  • 桂ICP备2024021734号 | 营业执照 | |广西笔趣文化传媒有限公司|| QQ