|
在当今信息爆炸的时代,我们常常需要从半结构化知识库(Semi-structured Knowledge Base, SKB)中获取信息来回答复杂问题。这类知识库既包含文本文档,也包含实体之间的关联关系。然而,许多现实中的问题属于“混合型问题”,即同时需要文本信息和关系信息才能正确回答。 传统的检索方法往往难以兼顾这两类信息: - 图RAG(GRAG)只关注知识图谱中的关系,容易遗漏文本内容;
- 问题路由方法在识别问题类型时容易混淆文本与关系部分,导致检索失败。
HYBGRAG: Hybrid Retrieval-Augmented Generation on Textual and Relational Knowledge Bases
HYBGRAG 不仅是一个技术框架,通过多模态检索 + 自我反思的机制,实现了对复杂问题的精准理解与回答,特别适用于学术文献、企业知识库、智能客服等需要结合文本与关系的场景。 问题定义:什么是混合问答(HQA)?首先,明确一下研究范围: - 半结构化知识库(SKB)= 知识图谱(实体和关系) + 文本文档集合
- 混合问题= 需要同时使用文本信息和关系信息才能回答的问题
- HQA的目标= 从SKB中检索出既满足关系条件又满足文本条件的文档集合
🔍 挑战一:混合来源问题(Hybrid-Sourcing Question)研究者比较了两种单一检索方式的效果: - 图检索器:基于个性化PageRank,专注知识图谱关系
惊人发现文本检索和图检索的效果相当,但它们的优势领域几乎不重叠!如果有一个“完美调度器”总能选择正确的检索器,性能将大幅提升。 这意味着:很多问题必须同时使用两种信息源才能正确回答。 🔍 挑战二:需要优化的问题(Refinement-Required Question)在知识图谱问答中,成功的关键往往在于能否从图谱中提取出包含目标实体的正确子图。 研究者测试了LLM在首次尝试时能否提取出包含目标实体的子图: 在混合问题中,LLM很难在第一次就准确区分文本方面和关系方面,经常把文本内容误认为是实体。 - 如果提供具体的错误反馈(如“提取的主题实体错误”),效果提升更加明显
这两个挑战直接催生了HYBGRAG的核心设计: - 针对挑战一→ 引入检索器组,同时利用文本和关系检索器
- 针对挑战二→ 设计评判模块,通过自我反思不断优化问题解析
HYBGRAG技术详解:如何构建自适应混合检索系统检索器组检索模块类型:
- 过程:从主题实体的自我图中提取实体,然后用VSS排序
路由器:智能调度中心- 智能逻辑:如果识别不出任何实体,自动选择文本检索模块
对于问题"约翰·史密斯的纳米流体传热论文",路由器会识别: - 有用关系:
{author writes paper}
评判模块将复杂的评判任务分解为两个专门化的LLM: 验证器:质量守门员 - 例子:使用路径"
{作者} → {撰写} → {论文}"来验证结果
评论器:精准指导教练 HYBGRAG实验验证
STARK基准测试结果: 多代理设计价值: 在CRAG基准测试中,HYBGRAG同样表现出色:
|