返回顶部
热门问答 更多热门问答
技术文章 更多技术文章

PolyRouter:AI 调度员为你砍掉30%大模型成本!

[复制链接]
链载Ai 显示全部楼层 发表于 昨天 11:15 |阅读模式 打印 上一主题 下一主题

ingFang SC", Cambria, Cochin, Georgia, Times, "Times New Roman", serif;padding-top:8px;padding-bottom:8px;margin:1em 4px;line-height:26px;color:black;">哪个大模型最好用?

ingFang SC", Cambria, Cochin, Georgia, Times, "Times New Roman", serif;padding-top:8px;padding-bottom:8px;margin:1em 4px;line-height:26px;color:black;">“老板,我们公司现在有一堆大模型,有的擅长聊天,有的擅长写代码,有的擅长分析数据……每次来了新任务,ingFang SC", Cambria, Cochin, Georgia, Times, "Times New Roman", serif;color:#35b378;">该派哪个模型出马好呢?”

ingFang SC", Cambria, Cochin, Georgia, Times, "Times New Roman", serif;padding-top:8px;padding-bottom:8px;margin:1em 4px;line-height:26px;color:black;">这可不是一个简单的问题。派错了模型,不仅效果差,还要多花钱。

ingFang SC", Cambria, Cochin, Georgia, Times, "Times New Roman", serif;padding-top:8px;padding-bottom:8px;margin:1em 4px;line-height:26px;color:black;">有没有一种方法,能ingFang SC", Cambria, Cochin, Georgia, Times, "Times New Roman", serif;color:#35b378;">自动挑选最合适的模型来完成任务呢?

ingFang SC", Cambria, Cochin, Georgia, Times, "Times New Roman", serif;padding-top:8px;padding-bottom:8px;margin:1em 4px;line-height:26px;color:black;">最近,有研究人员就提出了一个叫ingFang SC", Cambria, Cochin, Georgia, Times, "Times New Roman", serif;color:#35b378;">PolyRouter的系统,能智能调度各路AI大模型,让它们各司其职、发挥所长。

ingFang SC", Cambria, Cochin, Georgia, Times, "Times New Roman", serif;padding-top:8px;padding-bottom:8px;margin:1em 4px;line-height:26px;color:black;">ingFang SC", Cambria, Cochin, Georgia, Times, "Times New Roman", serif;margin: 0px auto;width: auto;max-width: 100%;height: auto !important;" width="auto" src="https://api.ibos.cn/v4/weapparticle/accesswximg?aid=88564&url=aHR0cHM6Ly9tbWJpei5xcGljLmNuL3N6X21tYml6X3BuZy9NM1ByaFNVSUNuR05lYWlhV082RWpubHpGNUpVcGh4aWJ6bjFUNU1mcXpibUh3QUlOUTZTWEVwOEMyOG54VkZGSWlhM2RKaDN4M1p5SFZjdmVHelllUHpCQS82NDA/ZnJvbT1hcHBtc2c="/>

这个系统有多牛?

据说能砍掉30%的成本,还能让查询吞吐量提升40%!

什么原理呢?一起来看看这个"AI调度员"是如何工作的。

智能路由,让AI各显神通


首先,研究团队发现了一个问题:没有哪个大模型能在所有任务上都胜过其他模型

这就好比一个公司里,有的员工擅长销售,有的擅长技术,有的擅长管理,没有全能选手。

那么,怎么才能让每个"AI员工"都物尽其用呢?

研究人员的思路是:建立一个智能调度系统,根据任务的特点,自动选择最合适的模型来完成

这个系统主要包含三个步骤:
  1. 准备训练数据:收集各种领域的指令数据集,让每个专家模型都试着回答一遍,然后用BERT相似度评分给出"软标签"。
  2. 训练路由模型:把指令文本转换成向量,然后训练一个分类器,学会把不同类型的指令分配给不同的专家模型。
  3. 部署使用:新来一个查询,系统先编码成向量,预测最适合的专家模型,然后把任务转发给这个模型处理。

听起来是不是有点像公司里的调度员?根据每个人的特长,把不同的任务分配给最合适的人选。

那这个"AI调度员"到底有多聪明呢?

成本砍30%,效率提40%


研究人员设计了好几种路由方法来一较高下:
  • 随机路由:闭着眼睛随便选一个模型(这不就是瞎指挥嘛)
  • 最近邻路由:看哪个模型以前处理过最相似的任务(有点像按经验分配
  • MLP路由:用一个简单的神经网络来预测(算是初级AI了)
  • BERT路由:用更强大的语言模型来理解任务(这就是高级AI了)

猜猜谁赢了?

没错,就是那个最高级的BERT路由!它的表现简直亮瞎眼:
  • 成本降低了30%(老板最爱听这个)
  • 查询处理速度提高了40%(用户最喜欢这个)
  • BERT相似度得分提高了11%(这说明回答更准确了)
  • 负对数似然降低了6%(听不懂没关系,反正就是更好了)

看来不是简单地把任务写个规则甚至随机分配给不同模型就行了,还是得AI来调度AI啊!

这就是所谓的"元学习"——用AI来学习如何更好地使用AI。

这不禁让人联想到现实世界的管理学:优秀的管理者往往不是每项工作都做得最好的人,而是最懂得如何分配工作的人

AI界也开始卷起"管理学"了?


看到这里,有的朋友可能会问:这个PolyRouter听起来挺厉害,但是跟我们普通用户有什么关系呢?

  1. 省钱利器:如果云服务商采用这种技术,也许以后我们用AI服务时,账单能少个30%

  2. 效率神器:企业内部如果搭建这样一个系统,各种AI助手各司其职,工作效率蹭蹭往上涨

  3. AI管家:未来我们每个人的手机里是不是也能有这么一个"AI调度员",帮我们自动选择最合适的AI工具来完成各种任务?

当然,这个研究还有很长的路要走。这只是个开始,未来肯定会有更智能的路由系统。说不定以后的AI还得专门学习'AI管理学'呢!

这让我想起了著名的康威定律设计系统的组织,其产生的设计和架构往往与组织的沟通结构相似。

回复

使用道具 举报

您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

链载AI是专业的生成式人工智能教程平台。提供Stable Diffusion、Midjourney AI绘画教程,Suno AI音乐生成指南,以及Runway、Pika等AI视频制作与动画生成实战案例。从提示词编写到参数调整,手把手助您从入门到精通。
  • 官方手机版

  • 微信公众号

  • 商务合作

  • Powered by Discuz! X3.5 | Copyright © 2025-2025. | 链载Ai
  • 桂ICP备2024021734号 | 营业执照 | |广西笔趣文化传媒有限公司|| QQ