AI领域的新突破：混合RAG系统提升复杂推理能力

致敬不凡，致敬平凡

|原标题：A Hybrid RAG System with Comprehensive Enhancement on Complex Reasoning

| 链接：https://arxiv.org/pdf/2408.05141

| 日期：2 Sep 2024

核心概述

这本主要介绍了一种增强的混合检索增强生成（RAG）系统，通过改进网页中的文本块和表格、添加属性预测器以减少幻觉现象、进行LLM知识提取器和知识图谱提取器工作，并构建了一个包含所有引用的推理策略，这一系列优化，显著提高了检索质量、增强了推理能力，并细化了数值计算能力。

01

研究背景

• 背景介绍: 这篇文章的研究背景是检索增强生成（RAG）框架，该框架通过整合外部知识库来增强大型语言模型（LLMs）的准确性和减少幻觉现象。
• 研究内容: 包括改进网页文本块和表格的处理，添加属性预测器以减少幻觉，进行LLM知识提取器和知识图提取器，并最终构建一个包含所有引用的推理策略。
• 相关工作: 形式验证、高效的训练方法等，但这些方法大多针对特定问题场景，不适合直接应用于CRAG任务。本文在前人研究的基础上，提出了一个集成多种策略的新颖设计。

02

研究过程及方法剖析

系统中有6个关键模块，包括（1）网页处理，（2）属性预测器，（3）数值计算器，（4）大语言模型知识提取器，（5）知识图谱模块， (6)推理模块。我们通过这些模块增强了系统在信息提取、减少幻觉、数值计算精度、高阶推理等方面的能力。此外，我们还对极端情况进行了特殊处理。

1. 网页处理：使用Trafilatura和BeautifulSoup提取网页上的文本块和表格，并使用Blingfire将文本分句。文本块根据启发式规则进行分组，表格转换为Markdown格式。
   
   
2. 属性预测器：开发了属性预测器，评估每个问题的类型和事实变化率，以优化所有问题类型的性能。使用了上下文学习和支持向量机（SVM）两种方法进行分类。
3. 数值计算器：通过提示技术鼓励大型语言模型生成有效的Python表达式，并将实际数值计算任务委托给外部Python解释器。
4. LLM知识提取器：开发了LLM知识提取器，利用大型语言模型的知识丰富的响应作为参考材料，增强推理能力。
5. 知识图谱模块：使用手动规则从查询中提取实体，并生成查询。由于时间和资源限制，最终版本回归到基线方法。
6. 推理模块：设计了提示模板，让LLM从所有参考材料中进行推理，得到最终答案。控制了推理路径和输出格式，并处理了许多角落案例。
   

【处理极端情况】

除了上面提到的主要模块之外，我们还处理了很多极端情况，包括（1）识别无效问题；（2）鼓励模型对不确定的答案回答“我不知道”，以减少幻觉；(3)对不符合指令格式的输出进行处理。接下来，我将介绍我们处理这些极端情况的设计。

• 无效问题。有些问题的前提是错误的，这意味着查询与事实相矛盾。对于这些问题，模型应该输出“无效问题”。为了识别此类问题，模型需要仔细分析所提供的参考文献。我们在附录C.5所示的推理提示中添加特殊规则
• 减少幻觉。我们采用两种方法来减轻幻觉：属性预测和推理。我们发现，时变问题（被属性预测器标记为动态)对于我们的系统来说很难，我们没有足够的时间和资源来改进它们。所以我们手动让系统对这些问题回答“我不知道”。此外，我们在推理模块中添加了一些规则和提示工程技术，让模型在不确定时回答“我不知道”。最终，我们将系统配置为专门输出“我不知道”，并且在初始响应中包含“我不知道”时避免添加任何其他单词。
• 格式不正确。由于我们没有对推理输出进行约束采样，因此模型有可能输出无法解析的答案。为了处理这种情况，我们设计了一个备份摘要代理，在解析失败时根据推理模块的输出准确、简洁地总结最终答案。

03

不足与建议

1. 检索系统的选择：目前只使用了两个塔式模型进行检索，而重排器模型更适合任务1。未来的工作可以探索使用两阶段检索和重排器系统。
2. 知识图谱信息检索的优化：在任务2中没有优化知识图谱信息检索，未来可以在这方面进行大量改进。
3. 表格处理的简化：当前的表格处理方法相对简单，有些表格是无用的或噪声过多，未来需要设计专门的检索和结构化查询方法来处理这些情况。