RAGCache:多级动态缓存大幅降低RAG延迟、提升吞吐能力 - 链载Ai

RAG 技术通过结合外部知识库,有效提升了大语言模型(LLM)的性能。然而,RAG 系统在处理长序列生成时面临严重的延迟和效率挑战。最近,北京大学联合字节跳动的研究人员提出了一项名为 RAGCache^[1] 的创新研究为这一难题提供了巧妙的解决方案。

关键发现

现有的优化方案主要聚焦于LLM推理加速本身，未能充分考虑RAG系统的特点，研究团队通过分析，揭示了三个重要发现：

ingFang SC", system-ui, -apple-system, system-ui, "Helvetica Neue", "Hiragino Sans GB", "Microsoft YaHei UI", "Microsoft YaHei", Arial, sans-serif;font-size: 16px;letter-spacing: normal;width: 315px;height: auto !important;" src="https://api.ibos.cn/v4/weapparticle/accesswximg?aid=95247&url=aHR0cHM6Ly9tbWJpei5xcGljLmNuL21tYml6X3BuZy9hYU4yeGRGcWE0SHMwT1ZSODk2MjlCZ3VwSDZFclZvRXlhUUpUdVF6YjdOR1NpYzBDdFFIRHFMUTloZWlhemtpY2E1c3g5VnRMZGlhcTRQNG1TMUM2QmppYmlhdy82NDA/d3hfZm10PXBuZyZhbXA=;from=appmsg"/>

ingFang SC", system-ui, -apple-system, system-ui, "Helvetica Neue", "Hiragino Sans GB", "Microsoft YaHei UI", "Microsoft YaHei", Arial, sans-serif;font-size: 16px;letter-spacing: normal;text-align: center;height: auto !important;" src="https://api.ibos.cn/v4/weapparticle/accesswximg?aid=95247&url=aHR0cHM6Ly9tbWJpei5xcGljLmNuL21tYml6X3BuZy9hYU4yeGRGcWE0SHMwT1ZSODk2MjlCZ3VwSDZFclZvRTFuT1RVbVExbXBQMkZQY2JuRFhEUjUxRmo1bmNLRXMyM3dyb0ljeGFpY2FzbDlSN1ZKcTN4QUEvNjQwP3d4X2ZtdD1wbmcmYW1w;from=appmsg"/>

性能瓶颈：RAG系统的主要瓶颈在于LLM生成步骤，注入的外部知识文档显著延长了处理序列。实验数据显示，注入的外部知识文档平均长度达3718个token，远超原始请求的348个token，而计算开销与序列长度呈正比，因此是导致性能显著下降的原因。
访问模式：检索请求呈现高度集中的特征，约3%的热门文档占据了60%的检索请求。这种模式为缓存优化提供了重要依据。
优化空间：通过缓存文档的中间计算状态，可以显著降低计算开销。实验表明，这种方法可将预填充延迟降低11.5倍。

RAGCache 的核心创新

RAGCache 的核心思想是通过多层动态缓存系统,高效缓存和重用检索文档的中间状态,从而显著提升 RAG 系统的性能。

其主要创新点包括:

知识树结构: RAGCache 设计了一种知识树结构来组织缓存的文档状态。这种树状结构巧妙地处理了 RAG 系统中文档检索的顺序敏感性问题。
例如,考虑两个文档序列:[D1, D3]和[D2, D3]。尽管 D3 在两个序列中都出现,但由于前面文档的不同,其 key-value 张量在各自序列中的值是不同的。知识树结构能够高效管理这些变化,确保快速检索的同时保持文档顺序。
前缀感知的贪心双重大小频率(PGDSF)替换策略: RAGCache 引入了一种复杂的缓存替换策策略,综合考虑了多个因素:
这种策略确保最有价值的文档状态能够留在缓存中,最大化命中率并最小化重复计算。

文档顺序
key-value 张量的大小
访问频率
访问时间的新近性
多层缓存: RAGCache 实现了一个跨 GPU 和主机内存的分层缓存系统。这种方法允许高效利用更快但容量有限的 GPU 内存,同时利用主机内存的更大容量来存储较少访问的状态。
例如,频繁访问的文档状态可能存储在 GPU 内存中以实现快速访问,而不常用的状态则保存在主机内存中。这种分层方法同时优化了速度和容量。

动态推测流水线: RAGCache 最具创新性的特征之一是其通过动态推测流水线重叠向量检索和 LLM 推理的能力。
具体工作流程如下:

随着向量搜索的进行,RAGCache 将中期结果发送给 LLM 进行推测生成。
如果检索到的文档发生变化,系统会适应性地启动新的推测生成。
这种方法最小化了空闲时间,可以显著减少端到端延迟。

性能提升

RAGCache 取得的结果令人印象深刻:

与 vLLM+Faiss 相比,首个 token 生成时间(TTFT)最高减少 4 倍
与 vLLM+Faiss 相比,吞吐量最高提升 2.1 倍
与 SGLang 相比,TTFT 最高减少 3.5 倍
与 SGLang 相比,吞吐量最高提升 1.8 倍

这些性能提升在不同模型和检索设置下都保持一致,展示了 RAGCache 方法的稳健性。

实际应用

RAGCache 的改进对广泛的应用有重要影响:

问答系统: 对于需要外部知识的复杂查询,可以实现更快的响应时间。
例如,在一个客户服务聊天机器人系统中,当用户询问"如何申请退款"时,RAGCache 能够快速从缓存中检索相关政策信息,大大缩短响应时间。
内容生成: 更高效地创建上下文感知的内容,适用于聊天机器人或自动写作助手等应用。
比如,在新闻摘要生成任务中,RAGCache 可以快速检索和缓存相关背景信息,使得生成的摘要更加准确和全面。
研究工具: 为处理大型数据集的研究人员和分析师提供更快的相关信息访问。
在科研领域,RAGCache 可以加速文献综述过程,研究人员能够更快地检索和比较大量相关论文的关键信息。

结论

RAGCache 代表了优化检索增强生成系统的重要进展。通过解决长序列生成和计算开销的核心挑战,它为更具响应性和效率的 AI 应用铺平了道路,使得先进的 AI 能力在实际应用中更易于实现和使用。

随着 LLM 的不断发展和知识密集型任务需求的增长,像 RAGCache 这样的系统将在使先进 AI 能力更易获取和实用化方面发挥关键作用