返回顶部
热门问答 更多热门问答
技术文章 更多技术文章

刚刚!腾讯正式推出混元-T1:业界首个Transformer-Mamba 推理大模型

[复制链接]
链载Ai 显示全部楼层 发表于 6 小时前 |阅读模式 打印 上一主题 下一主题


ingFang SC", "Hiragino Sans GB", "Microsoft YaHei UI", "Microsoft YaHei", Arial, sans-serif;font-size: 14px;letter-spacing: 0.1em;color: rgb(63, 63, 63);">刚刚腾讯正式推出了推理模型ingFang SC", "Hiragino Sans GB", "Microsoft YaHei UI", "Microsoft YaHei", Arial, sans-serif;font-size: inherit;color: rgb(183, 110, 121);">混元-T1!它基于3月初发布的业界首个超大规模 Hybrid-Transformer-Mamba MoE 大模型 TurboS 快思考基座打造!

ingFang SC", "Hiragino Sans GB", "Microsoft YaHei UI", "Microsoft YaHei", Arial, sans-serif;font-size: 14px;letter-spacing: 0.1em;color: rgb(63, 63, 63);">简单来说,基于TurboS的T1就是为了解决大模型推理的痛点而生的:

    ingFang SC", "Hiragino Sans GB", "Microsoft YaHei UI", "Microsoft YaHei", Arial, sans-serif;font-size: 14px;color: rgb(63, 63, 63);" class="list-paddingleft-1">
  • ingFang SC", "Hiragino Sans GB", "Microsoft YaHei UI", "Microsoft YaHei", Arial, sans-serif;font-size: 14px;text-indent: -1em;display: block;margin: 0.2em 8px;color: rgb(63, 63, 63);">
    ingFang SC", "Hiragino Sans GB", "Microsoft YaHei UI", "Microsoft YaHei", Arial, sans-serif;font-size: inherit;color: rgb(183, 110, 121);">长文理解能力: TurboS 能有效捕捉长文本信息,告别“上下文丢失”的尴尬,长距离依赖问题也轻松搞定!
  • ingFang SC", "Hiragino Sans GB", "Microsoft YaHei UI", "Microsoft YaHei", Arial, sans-serif;font-size: 14px;text-indent: -1em;display: block;margin: 0.2em 8px;color: rgb(63, 63, 63);">
    ingFang SC", "Hiragino Sans GB", "Microsoft YaHei UI", "Microsoft YaHei", Arial, sans-serif;font-size: inherit;color: rgb(183, 110, 121);">Mamba架构加持,速度起飞: Mamba 架构专门优化了长序列处理,计算效率超高!相同条件下,解码速度直接快2倍

ingFang SC", "Hiragino Sans GB", "Microsoft YaHei UI", "Microsoft YaHei", Arial, sans-serif;padding-left: 8px;color: rgb(63, 63, 63);">96.7%算力All in 强化学习

ingFang SC", "Hiragino Sans GB", "Microsoft YaHei UI", "Microsoft YaHei", Arial, sans-serif;font-size: 14px;letter-spacing: 0.1em;color: rgb(63, 63, 63);">据腾讯官方公告后训练阶段,96.7%的算力都砸在了强化学习上!目标只有一个:极致提升模型的推理能力!对齐人类偏好!

为了练好T1的“脑子?”, 混元团队也是下了血本:

世界级理科难题喂饱: 数学、逻辑推理、科学、代码...各种硬核难题,从基础到复杂,应有尽有!还结合真实反馈,确保模型“真材实料”

“课程学习”+“上下文长度阶梯式扩展”: 就像给学生上课一样,难度循序渐进,同时逐步提升模型的“阅读理解”能力,让模型更高效地利用tokens进行推理

经典RL策略加持,训练更稳: 数据回放、阶段性策略重置... 这些经典RL“秘籍”让模型训练稳定性提升50%以上!稳扎稳打,才能步步为营!

Self-rewarding + Reward Model 双管齐下,更懂人类心意: 用早期版本的T1-preview 给模型打分,再结合 reward model 反馈,引导模型自我提升!结果就是:回复内容更丰富,信息更高效!更贴心,更懂你!

? 性能:对标R1,部分能力还略胜一筹

混元-T1 在各种权威benchmark 上,例如 MMLU-pro、CEval、AIME、Zebra Logic 等等,中英文知识和竞赛级数理逻辑推理指标,基本持平甚至略超 DeepSeek R1!

在内部人工体验集评估中,中文文案创作、文本摘要、Agent 能力等方面,T1 还略有优势!

实测

我用制作赛朋克贪吃蛇游戏来测试了一下T1,表现一般(顺便说一句,制作赛朋克贪吃蛇游戏是我测试所有推理模型比如DeepSeek R1,Grok 3,Claude 3.7,o1,o3 mini,Gemini 2.0 thinking 最常用一个测试题)

测试地址:

https://llm.hunyuan.tencent.com/#/chat/hy-t1

大家看看实测效果


这是测试结果:


回复

使用道具 举报

您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

链载AI是专业的生成式人工智能教程平台。提供Stable Diffusion、Midjourney AI绘画教程,Suno AI音乐生成指南,以及Runway、Pika等AI视频制作与动画生成实战案例。从提示词编写到参数调整,手把手助您从入门到精通。
  • 官方手机版

  • 微信公众号

  • 商务合作

  • Powered by Discuz! X3.5 | Copyright © 2025-2025. | 链载Ai
  • 桂ICP备2024021734号 | 营业执照 | |广西笔趣文化传媒有限公司|| QQ