链载Ai

标题: GraphRAG成本打一折，KET-RAG多粒度索引新框架开源 [打印本页]

作者: 链载Ai 时间: 昨天 17:32
标题: GraphRAG成本打一折，KET-RAG多粒度索引新框架开源

摘要速览

研究痛点：现有的基于图的检索增强生成（Graph-RAG）系统在处理大规模文档时面临两难困境。

一方面，基于文本块相似性的KNN图方法虽然成本低，但无法捕捉文本内部的实体关系，导致检索和生成质量欠佳；
另一方面，基于知识图谱（KG-RAG）的方法虽然能通过提取实体和关系提升检索质量，但其高昂的索引成本使其难以大规模应用。例如，处理5GB法律文档的索引成本可能高达3.3万美元。

创新突破：

提出了KET-RAG（Knowledge-Entity-Text Retrieval-Augmented Generation），一种多粒度索引框架。KET-RAG通过以下创新实现高效低成本的知识检索：

知识图谱骨架：仅从核心文本块中构建知识图谱，大幅减少索引成本。
文本-关键词二分图：作为知识图谱的轻量级替代，通过关键词与文本块的关联实现高效检索。
双通道检索策略：结合知识图谱骨架和文本-关键词二分图的优势，平衡检索质量和成本。

应用价值：在两个真实世界的数据集上评估了八种解决方案，结果表明，KET-RAG 在索引成本、检索效果和生成质量方面均优于所有竞争对手(Text-RAG、KNNG-RAG、KG-RAG、Hybrid-RAG、Skeleton-RAG)。

值得注意的是，KET-RAG的检索质量与微软的 Graph-RAG相当甚至更优，同时索引成本降低了超过一个数量级。

? 方案详情

KET-RAG框架的核心在于结合多粒度索引结构，具体包括以下部分：

知识图谱骨架（Skeleton-RAG）：通过PageRank算法从KNN图中选择重要文本块，并仅对这些核心文本块构建知识图谱，减少索引成本。
文本-关键词二分图（Keyword-RAG）：将所有文本块分割为子块，并构建关键词与子块的关联图。关键词及其邻近文本块作为候选实体和关系，用于轻量级检索。
双通道检索：在检索阶段，KET-RAG结合知识图谱骨架和文本-关键词二分图的优势，通过调整检索比例参数（??）平衡两者贡献，提升检索质量。
参数优化：通过调整输入文本块大小（ℓ）、分割层数（??）等参数，进一步优化检索和生成性能。

KET-RAG通过这种多粒度索引和双通道检索策略，在保证检索质量的同时，大幅降低了索引成本，为大规模知识检索和生成任务提供了高效、低成本的解决方案。

ingFang SC", MIUI, "Hiragino Sans GB", "Microsoft YaHei", sans-serif;font-optical-sizing: inherit;font-size-adjust: inherit;font-kerning: inherit;font-feature-settings: inherit;font-variation-settings: inherit;vertical-align: baseline;list-style: decimal;display: block;margin-block-end: 1em;margin-inline: 0px;padding-inline-start: 40px;margin: 0.859em 0px 0px;color: rgba(245, 249, 255, 0.95);letter-spacing: 0.5px;orphans: 2;text-align: start;text-indent: 0px;text-transform: none;widows: 2;word-spacing: 0px;-webkit-text-stroke-width: 0px;white-space: normal;background-color: rgb(49, 49, 58);text-decoration-thickness: initial;text-decoration-style: initial;text-decoration-color: initial;" class="list-paddingleft-1">

https://arxiv.org/pdf/2502.09304KET-RAG:ACost-EfficientMulti-GranularIndexingFrameworkforGraph-RAG

欢迎光临链载Ai (https://www.lianzai.com/)