|
为解决现有检索增强生成(RAG)系统在模拟人类长期记忆的动态和关联性方面的局限性,一种新型框架HippoRAG 2提出并将开源~在三个关键维度上评估持续学习能力:事实记忆、感知构建和关联性。HippoRAG 2在所有基准类别中均超越了其他方法(RAPTOR、GraphRAG、LightRAG、HippoRAG),使其更接近真正的长期记忆系统。HippoRAG 2框架的核心思想:HippoRAG 2基于HippoRAG的个性化PageRank算法,通过深度段落整合和更有效的在线LLM使用,推动RAG系统更接近人类长期记忆的效果。 离线索引: - 使用LLM从段落中提取三元组,并将其整合到开放知识图谱(KG)中。
- 将原始段落与KG结合,形成包含概念和上下文信息的开放KG。
- 使用嵌入模型将查询与KG中的三元组和段落链接,确定图搜索的种子节点。
- 应用个性化PageRank算法进行上下文感知检索,最终为下游问答任务提供最相关的段落。
ingFang SC", MIUI, "Hiragino Sans GB", "Microsoft YaHei", sans-serif;font-optical-sizing: inherit;font-kerning: inherit;font-feature-settings: inherit;font-variation-settings: inherit;vertical-align: baseline;list-style: decimal;display: block;margin-block-end: 1em;margin-inline: 0px;padding-inline-start: 40px;margin: 0.859em 0px 0px;color: rgba(245, 249, 255, 0.95);letter-spacing: 0.5px;orphans: 2;text-align: start;text-indent: 0px;text-transform: none;widows: 2;word-spacing: 0px;-webkit-text-stroke-width: 0px;white-space: normal;background-color: rgb(49, 49, 58);text-decoration-thickness: initial;text-decoration-style: initial;text-decoration-color: initial;" class="list-paddingleft-1">基线方法:包括经典检索器(BM25、Contriever、GTR)、大型嵌入模型(GTE-Qwen2-7B-Instruct、GritLM-7B、NV-Embed-v2)和结构增强RAG方法(RAPTOR、GraphRAG、LightRAG、HippoRAG)。评估指标:问答任务使用F1分数,检索任务使用passage recall@5。性能提升:HippoRAG 2在所有基准类别上均超越其他方法,平均F1分数比标准RAG高出7个百分点,特别是在关联记忆任务上表现突出。https://github.com/OSU-NLP-Group/HippoRAGFromRAGtoMemory:Non-ParametricContinualLearningforLargeLanguageModelshttps://arxiv.org/pdf/2502.14802 |