链载Ai
标题: PolyRouter：AI 调度员为你砍掉30%大模型成本！ [打印本页]
作者: 链载Ai 时间: 7 小时前
标题: PolyRouter：AI 调度员为你砍掉30%大模型成本！
ingFang SC", Cambria, Cochin, Georgia, Times, "Times New Roman", serif;padding-top:8px;padding-bottom:8px;margin:1em 4px;line-height:26px;color:black;">哪个大模型最好用？
ingFang SC", Cambria, Cochin, Georgia, Times, "Times New Roman", serif;padding-top:8px;padding-bottom:8px;margin:1em 4px;line-height:26px;color:black;">“老板，我们公司现在有一堆大模型，有的擅长聊天，有的擅长写代码，有的擅长分析数据……每次来了新任务，ingFang SC", Cambria, Cochin, Georgia, Times, "Times New Roman", serif;color:#35b378;">该派哪个模型出马好呢？”ingFang SC", Cambria, Cochin, Georgia, Times, "Times New Roman", serif;padding-top:8px;padding-bottom:8px;margin:1em 4px;line-height:26px;color:black;">这可不是一个简单的问题。派错了模型，不仅效果差，还要多花钱。ingFang SC", Cambria, Cochin, Georgia, Times, "Times New Roman", serif;padding-top:8px;padding-bottom:8px;margin:1em 4px;line-height:26px;color:black;">有没有一种方法，能ingFang SC", Cambria, Cochin, Georgia, Times, "Times New Roman", serif;color:#35b378;">自动挑选最合适的模型来完成任务呢？ingFang SC", Cambria, Cochin, Georgia, Times, "Times New Roman", serif;padding-top:8px;padding-bottom:8px;margin:1em 4px;line-height:26px;color:black;">最近，有研究人员就提出了一个叫ingFang SC", Cambria, Cochin, Georgia, Times, "Times New Roman", serif;color:#35b378;">PolyRouter的系统，能智能调度各路AI大模型，让它们各司其职、发挥所长。ingFang SC", Cambria, Cochin, Georgia, Times, "Times New Roman", serif;padding-top:8px;padding-bottom:8px;margin:1em 4px;line-height:26px;color:black;">![]()
ingFang SC", Cambria, Cochin, Georgia, Times, "Times New Roman", serif;margin: 0px auto;width: auto;max-width: 100%;height: auto !important;" width="auto" src="https://api.ibos.cn/v4/weapparticle/accesswximg?aid=88564&url=aHR0cHM6Ly9tbWJpei5xcGljLmNuL3N6X21tYml6X3BuZy9NM1ByaFNVSUNuR05lYWlhV082RWpubHpGNUpVcGh4aWJ6bjFUNU1mcXpibUh3QUlOUTZTWEVwOEMyOG54VkZGSWlhM2RKaDN4M1p5SFZjdmVHelllUHpCQS82NDA/ZnJvbT1hcHBtc2c="/>这个系统有多牛？
据说能砍掉30%的成本，还能让查询吞吐量提升40%！
什么原理呢？一起来看看这个"AI调度员"是如何工作的。
智能路由，让AI各显神通
首先，研究团队发现了一个问题：没有哪个大模型能在所有任务上都胜过其他模型。
这就好比一个公司里，有的员工擅长销售，有的擅长技术，有的擅长管理，没有全能选手。
那么，怎么才能让每个"AI员工"都物尽其用呢？
研究人员的思路是：建立一个智能调度系统，根据任务的特点，自动选择最合适的模型来完成。
- 准备训练数据：收集各种领域的指令数据集，让每个专家模型都试着回答一遍，然后用BERT相似度评分给出"软标签"。
- 训练路由模型：把指令文本转换成向量，然后训练一个分类器，学会把不同类型的指令分配给不同的专家模型。
- 部署使用：新来一个查询，系统先编码成向量，预测最适合的专家模型，然后把任务转发给这个模型处理。
听起来是不是有点像公司里的调度员？根据每个人的特长，把不同的任务分配给最合适的人选。
那这个"AI调度员"到底有多聪明呢？
成本砍30%，效率提40%
- 随机路由：闭着眼睛随便选一个模型（这不就是瞎指挥嘛）
- 最近邻路由：看哪个模型以前处理过最相似的任务（有点像按经验分配）
- MLP路由：用一个简单的神经网络来预测（算是初级AI了）
- BERT路由：用更强大的语言模型来理解任务（这就是高级AI了）
猜猜谁赢了？
没错，就是那个最高级的BERT路由！它的表现简直亮瞎眼：- BERT相似度得分提高了11%（这说明回答更准确了）
- 负对数似然降低了6%（听不懂没关系，反正就是更好了）
看来不是简单地把任务写个规则甚至随机分配给不同模型就行了，还是得用AI来调度AI啊！
这就是所谓的"元学习"——用AI来学习如何更好地使用AI。
这不禁让人联想到现实世界的管理学：优秀的管理者往往不是每项工作都做得最好的人，而是最懂得如何分配工作的人。
AI界也开始卷起"管理学"了？
看到这里，有的朋友可能会问：这个PolyRouter听起来挺厉害，但是跟我们普通用户有什么关系呢？
省钱利器：如果云服务商采用这种技术，也许以后我们用AI服务时，账单能少个30%？
效率神器：企业内部如果搭建这样一个系统，各种AI助手各司其职，工作效率蹭蹭往上涨？
AI管家：未来我们每个人的手机里是不是也能有这么一个"AI调度员"，帮我们自动选择最合适的AI工具来完成各种任务？
当然，这个研究还有很长的路要走。这只是个开始，未来肯定会有更智能的路由系统。说不定以后的AI还得专门学习'AI管理学'呢！
这让我想起了著名的康威定律：设计系统的组织，其产生的设计和架构往往与组织的沟通结构相似。
| 欢迎光临 链载Ai (https://www.lianzai.com/) |
Powered by Discuz! X3.5 |