上下文检索的创新点
原始分块 = "公司的收入比上一季度增长了3%。"
上下文化分块 = "这个分块来自ACME公司在2023年第二季度的SEC文件；上一季度的收入为3.14亿美元。公司的收入比上一季度增长了3%。"如何实现上下文检索
<document>
{{WHOLE_DOCUMENT}}
</document>
Hereisthechunkwewanttosituatewithinthewholedocument
<chunk>
{{CHUNK_CONTENT}}
</chunk>
Pleasegiveashortsuccinctcontexttosituatethischunkwithintheoveralldocumentforthepurposesofimprovingsearchretrievalofthechunk.Answeronlywiththesuccinctcontextandnothingelse.
以下是详细的实现步骤：
生成上下文
“公司的收入比上一季度增长了3%。”
“请为以下分块生成一个简洁的上下文：‘公司的收入比上一季度增长了3%。’”
“这个分块来自ACME公司在2023年第二季度的SEC文件；上一季度的收入为3.14亿美元。公司的收入比上一季度增长了3%。”
添加上下文到分块
上下文化分块 = "这个分块来自ACME公司在2023年第二季度的SEC文件；上一季度的收入为3.14亿美元。公司的收入比上一季度增长了3%。"
创建嵌入
嵌入向量 = 嵌入模型(上下文化分块)
创建 BM25 索引
BM25索引 = BM25模型(上下文化分块)
存储和检索
将生成的嵌入向量和 BM25 索引存储在向量数据库和 BM25 索引库中。这样，当用户输入查询时，系统可以同时使用嵌入向量和 BM25 索引进行检索，从而找到最相关的上下文化分块。
向量数据库.存储(嵌入向量)
BM25索引库.存储(BM25索引)
重排序
在检索到相关分块后，使用重排序技术对分块进行过滤和排序，确保只有最相关的分块被传递给生成模型。重排序可以显著提高检索的准确性和相关性。
相关分块 = 向量数据库.检索(查询)
重排序分块 = 重排序模型(相关分块)
在实现上下文检索时，研究团队特别指出需要考虑以下几点：
分块策略：考虑如何将文档分割成分块。分块大小、边界和重叠的选择会影响检索性能。 嵌入模型：选择合适的嵌入模型，对提高上下文检索性能帮助更大， Gemini[5] 和Voyage[6]在测试中表现更好。 自定义上下文提示：虽然通用提示效果良好，但仍然可能需要针对一些场景定制提示来获得更好的结果。 分块的数量：将更多的块添加到上下文窗口中，增加了包含相关信息的可能性。然而，过多的信息可能会使模型分心，因此存在一个限制。研究团队尝试了提供 5、10 和 20 块，发现使用 20 块在这三个选项中表现最佳，但仍然在一些具体场景中进行实验选择。 持续评估：通过将上下文化的语块传递给响应生成器，并区分上下文和语块，可以改进响应生成。
效果如何
研究团队的实验结果显示：
上下文嵌入将前 20 个分块的检索失败率减少了 35%（从 5.7%降至 3.7%）。 结合上下文嵌入和上下文 BM25 将前 20 个分块的检索失败率减少了 49%（从 5.7%降至 2.9%）。
同时，利用提示缓存技术降低了使用成本。通过提示缓存，您不需要为每一块都传递参考文档。您只需将文档加载到缓存中一次，然后引用之前缓存的内容即可。假设每块有 800 个 token，8k 个 token 的文档，50 个 token 的上下文指令，以及每块 100 个 token 的上下文，生成上下文化块的一次性成本为每百万文档 token1.02 美元。
联合重排序进一步提升性能
在传统 RAG 中，AI 系统会从知识库中检索到大量潜在相关的信息分块。对于大型知识库，这一初始检索往往会返回大量分块，有时多达数百个，且相关性和重要性各不相同。重排序是一种常用的过滤技术，确保只有最相关的分块被传递给模型。实验结果显示，重排序后的上下文嵌入和上下文 BM25 将前 20 个分块的检索失败率减少了 67%（从 5.7%降至 1.9%）。
同时注意，由于重排序在运行时增加了额外的步骤，即使所有分块都是并行评分，也必然会增加一小部分延迟，在重排序大量分块时表现更加明显。重排序在使用更多分块以获得更好性能与更少分块以降低延迟和成本之间存在取舍，这需要在具体的场景下尝试不同的设置，以找到合适的平衡点。
总结
研究团队通过大量的实验，为大家指出了一个新的提升 RAG 性能的方法，为开发者指出了实践新方向。
同时，研究团队基于大量实验的结果，给出了一些关键的经验总结：
嵌入+BM25 比单独使用嵌入效果更好（向量检索与文本检索相结合）； Voyage 和 Gemini 是测试中效果最好的嵌入模型； 将前 20 个分块传递给模型比仅传递前 10 个或前 5 个分块更有效； 为分块添加上下文显著提高了检索准确性； 重排序比不重排序效果更好； 所有这些改进措施可以叠加：结合上下文嵌入（Voyage 或 Gemini）、上下文 BM25 和重排序步骤，并将前 20 个分块添加到提示中，可以最大化性能提升。