返回顶部
热门问答 更多热门问答
技术文章 更多技术文章

这次,RAG记忆被微信AI团队的超图盘活了

[复制链接]
链载Ai 显示全部楼层 发表于 前天 17:13 |阅读模式 打印 上一主题 下一主题
https://github.com/Encyclomen/HGMem
Improving Multi-Step RAG with Hypergraph-Based Memory for Long-Context Complex Relational Modeling  
https://arxiv.org/pdf/2512.23959

港中大 & WeChat AI 联合团队

RAG双重暴击:“超长+全局推理”

传统 RAG 的痛点
具体表现
单步检索
只能“点到点”找答案,跨章节、跨事件关联无力
工作记忆=简单摘要
用一段流水账 plain text 记录历史,丢细节、丢引用、丢结构
图记忆
最多二元关系(A→B),无法表达“三元及以上”高阶关联

结果:在 100k+ token 的金融/法律/小说类文档里,一旦问题需要“全局 sense-making”(例如“为什么 Xodar 被送给 Carter 当奴隶?”),现有方法就像拼图只拼边缘,中间永远缺一块。

HGMEM——把“记忆”升级成“超图”

图1:左侧为第 t 步交互流程;右侧为超图记忆的演化示意

2.1 核心思想

把“工作记忆”不再当成一块硬盘,而是一张可动态生长、可高阶连接的超图

  • 每个超边(hyperedge)= 一个“记忆点”,可一次性连接 ≥2 个实体
  • 支持三种原子操作:Update ∣ Insert ∣ Merge
  • 每一步先“自我检查”→ 决定局部深挖 or 全局探索 → 检索 → 用 LLM 把新证据合并成更高阶的超边

2.2 关键模块一览

模块
作用
与传统做法差异
超图存储
用 hypergraph-db 实时维护节点 & 超边
不再是 plain text 或二元图
自适应检索
Local Investigation ↔ Global Exploration 切换
先“查周边”再“开新地图”,减少冗余
记忆合并
把多条低阶事实熔成一条高阶关系
二元图做不到 n-ary 融合
子查询生成
LLM 基于当前超图拓扑自动出题
避免人工模板
图2 记忆演化案例
图2 记忆演化案例

图2:Cowslip Moth 案例中,三条低阶事实被合并成一条“昆虫-植物共生”高阶关系

实验:成绩与成本双赢

3.1 主要结果

在 4 个超长文档基准(NarrativeQA / NoCha / Prelude / LongBench-V2)上,同样用 GPT-4o 或 Qwen-32B 做 backbone,HGMEM 全线 SOTA

表1:↑ 表示合并操作带来的高阶关联对“sense-making”类问题尤为关键

3.2 成本对比

与同样带工作记忆的 DeepRAG / ComoRAG 相比,HGMEM 平均 token 消耗与延迟几乎持平,并未因“超图”而额外增负:

表5 在线开销对比
表5 在线开销对比

表5:合并操作仅增加 <7% token,却带来显著精度提升

一句话总结

HGMEM 把“记忆”从静态硬盘升级成动态超图,让大模型在超长文本里像侦探一样层层抽丝、合并线索、全局破案,而且不增成本——多步 RAG 的“记忆”就该这么玩!

回复

使用道具 举报

您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

链载AI是专业的生成式人工智能教程平台。提供Stable Diffusion、Midjourney AI绘画教程,Suno AI音乐生成指南,以及Runway、Pika等AI视频制作与动画生成实战案例。从提示词编写到参数调整,手把手助您从入门到精通。
  • 官方手机版

  • 微信公众号

  • 商务合作

  • Powered by Discuz! X3.5 | Copyright © 2025-2025. | 链载Ai
  • 桂ICP备2024021734号 | 营业执照 | |广西笔趣文化传媒有限公司|| QQ