蚂蚁代码大模型推理部署探索与实践

ingFang SC", "Hiragino Sans GB", "Microsoft YaHei UI", "Microsoft YaHei", Arial, sans-serif;font-size: var(--articleFontsize);letter-spacing: 0.034em;" width="1091"/>

01

CodeFuse 开源介绍

▲ CodeFuse 开源情况

（图片较长，点开看大图）

02

ModelOps 平台介绍

• 挑战 1：模型参数的持续增加导致对显存和计算资源的需求急剧上升，而且显卡技术更新缓慢；
• 挑战 2：大模型采用自回归的生成模式本质上效率不高；
• 挑战 3：不同的模型请求导致资源消耗的不确定性，进一步增加了部署的复杂性。

（图片较长，点开看大图）

（图片较长，点开看大图）

• 
  

03

ModelCache 技术介绍

（图片较长，点开看大图）

04

ModelCache 研究及成果

（图片较长，点开看大图）

开源地址：

https://github.com/codefuse-ai/CodeFuse-ModelCache

文章介绍：

CodeFuse开源ModelCache大模型语义缓存

05

ModelOps 技术展望