北航沙磊教授：当Agentic RAG照进现实｜Agent Insights - 链载Ai

《ATM: Adversarial Tuning Multi-agent System Makes a Robust Retrieval-Augmented Generator》

ATM Attacker Agent - Generator Agent 架构

论文链接：https://arxiv.org/abs/2405.18111

解决问题：RAG 利用语义相关文档作为生成器的输入上下文，并重新注入外部知识，但是当今互联网充斥着大量错误、无关、无用内容，甚至是 LLM 捏造的虚假知识，会给 RAG 生成器带来额外噪音，团队设计多 Agent 对抗防御系统（ATM），通过对抗引导生成器更好地了解特定文档是否有助于回答问题，增强生成器鲁棒性，最终能在 LLM 捏造文档中分辨出有用的文档

模型框架：ATM 包括生成器 Agent 和攻击者 Agent，攻击者竭力编造虚假知识并增加文件列表中的噪音，生成者抵御噪音并保持稳健，团队进行多 Agent 迭代优化，使攻击者 Agent展现出更强大的攻击模式，生成器 Agent 迭代增强

使用效果：ATM 在自然问题上的分数提高 31%。在 ATM 架构下，Generator 生成器逐步超越了以前最先进的 RALM、RetRobust 和 Self-RAG，在各数据集上的性能领先 5%

应用空间：各个领域的 RAG 系统，另外还可以加强模型安全性、准确率等指标

ATM 测试性能

沙教授：我过去在北大读博，研究自然语言处理方向，做过大规模信息抽取以及文本生成。后来我在美国湾区苹果公司工作，在苹果 Siri 组，接触了很多对话系统方面的工作，我当时认为要把对话系统做好，需要让模型真正理解自然语言，因此我觉得应该往可解释语言模型方面发展。之后我去了牛津大学做了博后，做解释 AI 方向的工作。2022 年初回国，机缘巧合到北航做了一次分享，后来加入北航持续做自然语言处理以及可解释性方向的研究，还包括现在大模型安全和幻觉消除，以及接触到 AI for Science 相关的方向。

我觉得今天产业界天生是比较适合 Agent 架构的，从苹果对话系统开发经验来看，学术界喜欢发端到端的论文，然而在产业界要实现端到端非常困难。比如之前没有大模型的时代，其实很难去通过对话直接实现搜索、调用、生成，比如设置闹钟、打电话、发短信、找资料，不同用户实际要求太多且太杂，一个模型不可能把所有事情完成。因此过去产业界就倾向于用多 Agent 合作的方式来完成各种任务。

在大模型时代也是一样的，首先要把对话做好，需要让模型充分深刻地理解语言，非常浅地把对话系统搭好后输出的效果很容易是人工智障。大模型出现之后，本质上模型对于语言的理解能力是有质的提升的。大模型相当于智能中枢，同时也是 Multi-Agent 中的主 Agent，对语言理解得很到位，且会调用其他 Agent 的功能。

沙教授：我觉得 WWDC 上展示的功能到真正推出的时候，都能够差不多实现，例如让它用不同情绪发邮件，调用邮件信息，设定日程等。苹果肯定是希望 Siri 跟大部分系统内部应用打通的，当时我在苹果的时候就在做类似的事情，某个团队负责某些应用与 Siri 之间的互联互通工作，现在大模型出来之后更加可能实现。

沙教授：最开始我们想做检索增强相关的工作，大模型本身垂类的的信息学得不是很到位，时常会出现幻觉，RAG（Retrieval-Augmented Generation）能够帮助大模型查阅相关的资料，对应特定的问题回答能够更准确。RAG 本身也分为检索、增强、生成三个部分，检索部分本身和大模型没太多关系，主要依赖检索器的性能。增强是有一定提升空间的，比如一下子检索出好几篇文档，文档的顺序如何排列（正序还是倒序，有规律排列还是无规则打乱），大模型得到的结果都不一样。人读完十篇参考文献，不管以什么顺序看，最后得出结论应该都差不多，但不同排列组合的检索信息喂给大模型会造成完全不同的生成结果。

因此团队就在思考能不能有专门的一个 Agent，不断地给大模型出难题挑战大模型，让它的稳健能力得以提升。于是我们跑出了 ATM 的方案，利用类似于 GAN 的思想，用一个 Attacker 和一个 Generator 进行对抗从而迭代生成质量，能够不断地优化 RAG 的承载能力。后来我们也和百度合作，将整篇对抗生成的理念进行更实质的落地。

沙教授：其中攻击器负责检索出来之后，通过对内容的扰动，包括位置、顺序、细节内容的干扰等，随后输入到生成器中。攻击器不断地进行干扰期望把模型生成质量分数拉低，而生成器需要不停地无视误导，将正确的答案生成出来，过程中就是博弈的过程。整体与 GAN 网络类似，但有一定的区别，GAN 整体的对抗能够用 Loss Function（损失函数）进行连续优化的方式找到最佳答案，而我们的 ATM 对抗博弈方式更多是利用 DPO 去做一些主观的离散的优化，可以算是对齐的一部分，利用强化学习的方式来对比得到相对更好的生成答案。

沙教授：ATM 可以应用在很多地方，比如提升大模型安全性方面，目前已经有可能会有不法分子利用大模型来制定带有攻击性的袭击，而 ATM 能够尽可能筛选不安全的生成回复，另外例如歧视、政治问题都是 ATM 可能修正的问题。只要我们发现有不安全的内容，我们就给攻击 Agent 加上标签，让它去微调一下，过去调整模型很可能比较局限，不安全信息屏蔽得不全面，但大模型 Agent 能够随时调整，实时加入新的案例施加攻击，让生成 Agent 进行理解并提升自己的防御能力，最终在人类想要保护的信息领域都能够达到不错的效果。

沙教授：首先 ATM 还是一个比较消耗算力的方案，怎么样减少其资源使用量是我们在思考的问题。其次 RAG 本身也有很多可以增强的点，例如检索本身有很多工程化提升空间，例如检索不到很有用的内容，或检索出来的信息颗粒度不高，内容不够全面，篇幅不够长……都是我们期待提升的空间。

沙教授：大模型安全是我主要关注的方向，另外数据增强、检索增强也是我关注的一个点。AI for Science 领域我更关注医疗、生物、化学等严肃领域，我们可以把大模型看作一个吞掉很多知识并会融会贯通使用的载体，在医学这种海量数据的领域里，大模型对知识的理解和挖掘有先天的优势，你可以让它做特征的提取，简单的理解和分析。