链载Ai

标题: 旺精通~智能体检索增强生成(Agentic RAG)综述:背景、模型、框架、测试、展望 [打印本页]

作者: 链载Ai    时间: 3 小时前
标题: 旺精通~智能体检索增强生成(Agentic RAG)综述:背景、模型、框架、测试、展望

旺精通:技术细节全解,深度精通技术


大语言模型虽强大但依赖静态数据,有信息过时等问题。RAG应运而生,可集成实时数据,但传统RAG有局限性。重要意义在于智能体RAG能克服传统RAG不足,在多领域提供更精准、适应性强的解决方案,推动人工智能在复杂现实场景中的应用。

文章先介绍大语言模型依赖静态训练数据的局限,引出检索增强生成(RAG)。阐述RAG从朴素到高级、模块化、图RAG及智能体RAG的范式演变,介绍智能体智能的核心原则及工作流程模式。详细分类智能体RAG系统,如单智能体、多智能体等架构。通过对比分析不同框架,探讨其在多领域的应用、实施工具和框架、基准测试和数据集,最后总结并展望未来。

摘要&解读

大语言模型(LLMs)凭借生成类人文本和进行自然语言理解的能力,彻底改变了人工智能(AI)领域。然而,它们对静态训练数据的依赖,限制了其应对动态实时查询的能力,导致输出结果可能过时或不准确。检索增强生成(RAG)作为一种解决方案应运而生,它通过集成实时数据检索来增强大语言模型,以提供与上下文相关的最新回复。尽管传统RAG系统前景广阔,但受限于静态工作流程,缺乏多步推理和复杂任务管理所需的适应性。

智能体检索增强生成(Agentic RAG)通过将自主人工智能智能体嵌入RAG流程,克服了这些限制。这些智能体利用智能体设计模式(反思、规划、工具使用和多智能体协作)来动态管理检索策略,迭代完善上下文理解,并通过从顺序步骤到自适应协作等明确定义的操作结构来调整工作流程。这种集成使智能体RAG系统在各种应用中具备无与伦比的灵活性、可扩展性和上下文感知能力。

本综述全面探讨了智能体RAG,从其基本原理和RAG范式的演变入手,详细介绍了智能体RAG架构的分类,突出了其在医疗、金融和教育等行业的关键应用,并研究了实际的实施策略。此外,还讨论了在扩展这些系统、确保符合伦理的决策制定以及优化实际应用性能方面面临的挑战,同时深入介绍了用于实现智能体RAG的框架和工具。

引言

大语言模型(LLMs),如OpenAI的GPT-4、谷歌的PaLM和Meta的LLaMA,凭借其生成类人文本和执行复杂自然语言处理任务的能力,极大地改变了人工智能(AI)领域。这些模型在包括对话智能体、自动内容创建和实时翻译在内的多个领域推动了创新。最近的进展将它们的能力扩展到了多模态任务,如图文生成和文本转视频生成,使得能够根据详细提示创建和编辑视频及图像,这拓宽了生成式人工智能的潜在应用范围。

尽管取得了这些进展,但大语言模型由于依赖静态预训练数据而面临显著的局限性。这种依赖常常导致信息过时、生成幻觉式回复,并且无法适应动态的现实场景。这些挑战凸显了对能够集成实时数据并动态优化回复以保持上下文相关性和准确性的系统的需求。

检索增强生成(RAG)作为应对这些挑战的一种有前景的解决方案出现。通过将大语言模型的生成能力与外部检索机制相结合,RAG系统提高了回复的相关性和及时性。这些系统从知识库、应用程序编程接口(APIs)或网络等来源检索实时信息,有效地弥合了静态训练数据与动态应用需求之间的差距。然而,传统RAG工作流程仍然受到其线性和静态设计的限制,这限制了它们执行复杂多步推理、融入深度上下文理解以及迭代优化回复的能力。

智能体的发展显著增强了人工智能系统的能力。现代智能体,包括由大语言模型驱动的智能体和移动智能体,是能够感知、推理并自主执行任务的智能实体。这些智能体利用反思、规划、工具使用和多智能体协作等智能体模式,来提高决策能力和适应性。

此外,这些智能体采用提示链接、路由、并行化、协调器 - 工作器模型和评估器 - 优化器等智能体工作流程模式,来构建和优化任务执行。通过整合这些模式,智能体RAG系统可以有效地管理动态工作流程,并解决复杂的问题求解场景。RAG与智能体智能的融合产生了智能体检索增强生成(Agentic RAG),这是一种将智能体集成到RAG流程中的范式。智能体RAG支持动态检索策略、上下文理解和迭代优化,实现了自适应且高效的信息处理。与传统RAG不同,智能体RAG使用自主智能体来协调检索、筛选相关信息并优化回复,在需要精确性和适应性的场景中表现出色。智能体RAG的概述见图1。

本综述探讨了智能体RAG的基本原理、分类和应用。全面介绍了RAG范式,如朴素RAG、高级RAG和图RAG,以及它们向智能体RAG系统的演变。主要贡献包括对智能体RAG框架的详细分类、在医疗、金融和教育等领域的应用,以及对实施策略、基准测试和伦理考量的见解。

本文结构如下:第2节介绍RAG及其演变,突出传统方法的局限性。第3节详细阐述智能体智能的原理和智能体模式。第4节详细介绍智能体工作流程模式。第5节给出智能体RAG系统的分类,包括单智能体、多智能体和基于图的框架。第6节对智能体RAG框架进行比较分析。第7节研究智能体RAG的应用,第8节讨论实施工具和框架。第9节关注基准测试和数据集,第10节总结智能体RAG系统的未来发展方向。

图1 智能体RAG概述

2. 检索增强生成基础

2.1 检索增强生成(RAG)概述

检索增强生成(RAG)是人工智能领域的一项重大进展,它将大语言模型(LLMs)的生成能力与实时数据检索相结合。虽然大语言模型在自然语言处理方面展现出了卓越的能力,但它们对静态预训练数据的依赖往往会导致回复过时或不完整。RAG通过从外部源动态检索相关信息并将其融入生成过程,解决了这一限制,从而实现了上下文准确且最新的输出。

2.2 RAG的核心组件

RAG系统的架构集成了三个主要组件(图2):

图2 RAG的核心组件

2.3 RAG范式的演变

检索增强生成(RAG)领域已经有了显著的发展,以应对现实世界应用中日益增长的复杂性,在这些应用中,上下文准确性、可扩展性和多步推理至关重要。从最初简单的基于关键词的检索,已经发展到复杂、模块化且自适应的系统,能够集成各种数据源和自主决策过程。这种演变强调了RAG系统高效处理复杂查询的需求不断增长。

本节研究RAG范式的发展历程,介绍关键的发展阶段——朴素RAG、高级RAG、模块化RAG、图RAG和智能体RAG,以及它们的定义特征、优势和局限性。通过了解这些范式的演变,读者可以认识到检索和生成能力的进步及其在各个领域的应用。

2.3.1 朴素RAG

朴素RAG是检索增强生成的基础实现。图3展示了朴素RAG简单的检索 - 读取工作流程,主要侧重于基于关键词的检索和静态数据集。这些系统依赖于简单的基于关键词的检索技术,如词频 - 逆文档频率(TF-IDF)和BM25,从静态数据集中获取文档。然后,检索到的文档用于增强语言模型的生成能力。

图3 朴素RAG概述

朴素RAG的特点是简单易实现,适用于涉及基于事实的查询、上下文复杂度较低的任务。然而,它存在一些局限性:

尽管存在这些局限性,朴素RAG系统为检索与生成的集成提供了关键的概念验证,为更复杂的范式奠定了基础。

2.3.2 高级RAG

高级RAG系统在朴素RAG的基础上进行改进,融入了语义理解和增强的检索技术。图4突出了高级RAG在检索方面的语义增强以及迭代、上下文感知的流程。这些系统利用密集检索模型,如密集段落检索(DPR)和神经排序算法,来提高检索精度。

图4 高级RAG概述

高级RAG的关键特征包括:

这些进步使高级RAG适用于需要高精度和细致理解的应用,如研究综述和个性化推荐。然而,计算开销和有限的可扩展性等挑战仍然存在,特别是在处理大型数据集或多步查询时。

2.3.3 模块化RAG

模块化RAG是RAG范式的最新发展,强调灵活性和定制性。这些系统将检索和生成流程分解为独立、可重用的组件,实现特定领域的优化和任务适应性。图5展示了模块化架构,突出了混合检索策略、可组合的流程和外部工具集成。

图5 模块化RAG概述

模块化RAG的关键创新包括:

例如,为金融分析设计的模块化RAG系统可以通过API检索实时股票价格,使用密集检索分析历史趋势,并通过定制的语言模型生成可行的投资见解。这种模块化和定制性使模块化RAG成为复杂多领域任务的理想选择,兼具可扩展性和精确性。

2.3.4 图RAG

图RAG通过集成基于图的数据结构扩展了传统的检索增强生成系统,如图6所示。这些系统利用图数据中的关系和层次结构来增强多跳推理和上下文丰富性。通过纳入基于图的检索,图RAG能够生成更丰富、更准确的生成输出,特别是对于需要关系理解的任务。

图6 图RAG概述

图RAG的特点是能够:

然而,图RAG也存在一些局限性:

图RAG非常适合医疗诊断、法律研究等需要对结构化关系进行推理的应用领域。

2.3.5 智能体RAG

智能体RAG通过引入能够进行动态决策和工作流程优化的自主智能体,代表了一种范式转变。与静态系统不同,智能体RAG采用迭代优化和自适应检索策略来处理复杂、实时和多领域的查询。这种范式在引入基于智能体的自主性的同时,利用了检索和生成过程的模块化。

智能体RAG的关键特征包括:

尽管取得了这些进展,智能体RAG仍面临一些挑战:

智能体RAG在客户支持、金融分析和自适应学习平台等领域表现出色,在这些领域中,动态适应性和上下文精确性至关重要。

2.4 传统RAG系统的挑战和局限性

传统的检索增强生成(RAG)系统通过集成实时数据检索,显著扩展了大语言模型(LLMs)的能力。然而,这些系统在复杂的现实应用中仍然面临关键挑战,阻碍了它们的有效性。最显著的局限性围绕上下文集成、多步推理以及可扩展性和延迟问题。

2.4.1 上下文集成

即使RAG系统成功检索到相关信息,它们也常常难以将其无缝地融入生成的回复中。检索流程的静态性质和有限的上下文感知导致输出碎片化、不一致或过于笼统。

例如,对于“阿尔茨海默病研究的最新进展及其对早期治疗的影响是什么?”这样的查询,可能会检索到相关的研究论文和医学指南。然而,传统的RAG系统往往无法将这些发现综合成一个连贯的解释,将新的治疗方法与特定的患者场景联系起来。同样,对于“干旱地区小规模农业的最佳可持续实践是什么?”这样的查询,传统系统可能会检索到关于一般农业方法的文档,但忽略了针对干旱环境的关键可持续实践。

2.4.2 多步推理

许多现实世界的查询需要迭代或多跳推理,即跨多个步骤检索和综合信息。传统的RAG系统通常无法根据中间的见解或用户反馈优化检索,导致回复不完整或不连贯。

例如,像“欧洲可再生能源政策对发展中国家有哪些可借鉴的经验,以及潜在的经济影响是什么?”这样复杂的查询,需要整合多种类型的信息,包括政策数据、对发展中地区的背景分析以及经济分析。传统的RAG系统通常无法将这些不同的元素连接成一个连贯的回复。

2.4.3 可扩展性和延迟问题

随着外部数据源数量的增长,查询和排序大型数据集的计算成本越来越高。这导致显著的延迟,削弱了系统在实时应用中提供及时回复的能力。

例如,在金融分析或实时客户支持等对时间敏感的场景中,查询多个数据库或处理大型文档集所导致的延迟会影响系统的整体实用性。在高频交易中,检索市场趋势的延迟可能会导致错失机会。

2.5 智能体RAG:范式转变

传统的RAG系统由于其静态的工作流程和有限的适应性,往往难以处理动态、多步推理和复杂的现实任务。这些局限性促使了智能体智能的集成,从而产生了智能体RAG。通过纳入能够进行动态决策、迭代推理和自适应检索策略的自主智能体,智能体RAG在早期范式的模块化基础上进行构建,同时克服了它们的固有约束。这种演变使得能够以更高的精度和上下文理解来处理更复杂的多领域任务,使智能体RAG成为下一代人工智能应用的基石。特别是,智能体RAG系统通过优化工作流程减少延迟,并迭代优化输出,解决了传统RAG在可扩展性和有效性方面长期存在的挑战。

3. 智能体智能的核心原则和背景

智能体智能是智能体检索增强生成(RAG)系统的基础,使它们能够超越传统RAG的静态和被动性质。通过集成能够进行动态决策、迭代推理和协作工作流程的自主智能体,智能体RAG系统展现出更强的适应性和精确性。本节探讨支撑智能体智能的核心原则。

人工智能智能体的组成部分。本质上,一个人工智能智能体包括(图7):

图7人工智能智能体概述

智能体模式为智能体检索增强生成(RAG)系统中的智能体行为提供了结构化的方法。这些模式使智能体能够动态适应、规划和协作,确保系统能够精确且可扩展地处理复杂的现实任务。智能体工作流程基于四种关键模式:

3.1 反思

反思是智能体工作流程中的基本设计模式,使智能体能够迭代地评估和优化其输出。通过纳入自我反馈机制,智能体可以识别并解决错误、不一致和需要改进的地方,从而在代码生成、文本创作和问答等任务中提高性能(如图8所示)。在实际应用中,反思包括促使智能体对其输出的正确性、风格和效率进行批判,然后将这些反馈纳入后续的迭代中。外部工具,如单元测试或网络搜索,可以通过验证结果和突出差距来进一步增强这个过程。

在多智能体系统中,反思可以涉及不同的角色,例如一个智能体生成输出,而另一个智能体对其进行批判,促进协作改进。例如,在法律研究中,智能体可以通过重新评估检索到的判例法来迭代地优化回复,确保准确性和全面性。在诸如Self-Refine、Reflexion和CRITIC等研究中,反思已显示出显著的性能提升。

图8智能体自我反思概述

3.2 规划

规划是智能体工作流程中的关键设计模式,使智能体能够自主地将复杂任务分解为更小的、可管理的子任务。这种能力对于在动态和不确定的场景中进行多跳推理和迭代问题解决至关重要,如图9a所示。

通过利用规划,智能体可以动态地确定完成更大目标所需的步骤顺序。这种适应性使智能体能够处理无法预先定义的任务,确保决策的灵活性。虽然规划功能强大,但与反思等确定性工作流程相比,它可能产生更不可预测的结果。规划特别适合需要动态适应的任务,在这些任务中,预定义的工作流程是不够的。随着技术的成熟,其在各个领域推动创新应用的潜力将继续增长。

3.3 工具使用

工具使用使智能体能够通过与外部工具、API或计算资源交互来扩展其能力,如图9b所示。这种模式使智能体能够收集信息、进行计算并处理其预训练知识之外的数据。通过将工具动态集成到工作流程中,智能体可以适应复杂任务,并提供更准确、与上下文相关的输出。

图9智能体规划和工具使用概述

现代智能体工作流程将工具使用应用于各种场景,包括信息检索、计算推理和与外部系统的交互。随着GPT-4的函数调用能力以及能够管理对众多工具访问的系统等技术的进步,这种模式的实现方式有了显著发展。这些进展促进了复杂的工作流程,在这些流程中,智能体可以自主选择并执行最适合特定任务的工具。

虽然工具使用显著增强了智能体工作流程,但在优化工具选择方面仍然存在挑战,特别是在有大量可用选项的情况下。受检索增强生成(RAG)启发的技术,如基于启发式的选择方法,已被提出用于解决这个问题。

3.4 多智能体协作

多智能体协作是智能体工作流程中的关键设计模式,实现了任务专业化和并行处理。智能体之间进行通信并共享中间结果,确保整个工作流程保持高效和连贯。通过将子任务分配给专门的智能体,这种模式提高了复杂工作流程的可扩展性和适应性。多智能体系统允许开发人员将复杂任务分解为更小的、可管理的子任务,并分配给不同的智能体。这种方法不仅提高了任务性能,还为管理复杂交互提供了强大的框架。每个智能体都有自己的记忆和工作流程,其中可以包括工具使用、反思或规划,实现动态和协作的问题解决(见图10)。

虽然多智能体协作具有巨大的潜力,但与反思和工具使用等更成熟的工作流程相比,它是一种更不可预测的设计模式。尽管如此,诸如AutoGen、Crew AI和LangGraph等新兴框架为实现有效的多智能体解决方案提供了新途径。

图10多智能体概述

这些设计模式是智能体RAG系统成功的基础。通过构建从简单的顺序步骤到更自适应、协作的工作流程,这些模式使系统能够动态地调整其检索和生成策略,以适应现实世界环境中多样且不断变化的需求。利用这些模式,智能体能够处理迭代的、上下文感知的任务,这远远超出了传统RAG系统的能力。

4. 智能体工作流程模式:动态协作的自适应策略

智能体工作流程模式用于构建基于大语言模型的应用程序,以优化性能、准确性和效率。根据任务的复杂性和处理要求,不同的方法各有适用性。

4.1 提示链接:通过顺序处理提高准确性

提示链接将复杂任务分解为多个步骤,每个步骤都建立在前一步的基础上。这种结构化方法通过在推进之前简化每个子任务来提高准确性。然而,由于顺序处理,它可能会增加延迟。

适用场景:当任务可以分解为固定的子任务,且每个子任务都对最终输出有贡献时,这种工作流程最为有效。在逐步推理能提高准确性的场景中特别有用。

应用示例:先以一种语言生成营销内容,然后在保留细节的情况下将其翻译成另一种语言;先生成文档大纲,验证其完整性,再展开完整文本的创作。

4.2 路由:将输入导向专门的流程

路由涉及对输入进行分类,并将其导向适当的专门提示或流程。这种方法确保不同的查询或任务被分别处理,从而提高效率和回复质量。

适用场景:适用于不同类型的输入需要不同处理策略的场景,确保为每个类别优化性能。

应用示例:将客户服务查询分类为技术支持、退款请求或一般咨询等类别;为了节省成本,将简单查询分配给较小的模型,而将复杂请求发送给高级模型。

4.3 并行化:通过并发执行加快处理速度

并行化将任务划分为独立的进程,这些进程同时运行,从而减少延迟并提高吞吐量。它可以分为分区(独立子任务)和投票(多个输出以提高准确性)两种类型。

适用场景:当任务可以独立执行以提高速度,或者多个输出可以提高可信度时适用。

应用示例:分区,如内容审核任务,一个模型筛选输入,另一个模型生成回复;投票,使用多个模型交叉检查代码中的漏洞或分析内容审核决策。

4.4 协调器 - 工作器:动态任务分配

这种工作流程有一个中央协调器模型,它动态地将任务分解为子任务,分配给专门的工作器模型,并汇总结果。与并行化不同,它能够适应不同的输入复杂性。

适用场景:最适合需要动态分解和实时适应的任务,其中子任务不是预先定义的。

应用示例:根据请求更改的性质自动修改代码库中的多个文件;通过从多个来源收集和综合相关信息进行实时研究。

4.5 评估器 - 优化器:通过迭代优化输出

评估器 - 优化器工作流程通过生成初始输出并根据评估模型的反馈进行优化,迭代地改进内容。

适用场景:当迭代优化能显著提高回复质量,特别是存在明确的评估标准时,这种方法很有效。

应用示例:通过多次评估和优化循环改进文学翻译;进行多轮研究查询,后续迭代优化搜索结果。

5. 智能体RAG系统的分类

智能体检索增强生成(RAG)系统可以根据其复杂性和设计原则分为不同的架构框架。这些框架包括单智能体架构、多智能体系统和分层智能体架构。每个框架都针对特定的挑战进行了优化,以适应不同应用场景的性能需求。本节详细介绍这些架构的分类,突出它们的特点、优势和局限性。

5.1 单智能体智能体RAG:路由器

单智能体智能体RAG作为一个集中式决策系统,由单个智能体管理信息的检索、路由和集成(如图16所示)。这种架构通过将这些任务整合到一个统一的智能体中,简化了系统,使其特别适用于工具或数据源数量有限的设置。

图16单智能体RAG概述

工作流程:

  1. 查询提交与评估
    :用户提交查询后,协调智能体(或主检索智能体)接收查询并进行分析,以确定最合适的信息来源。
  2. 知识源选择
    :根据查询类型,协调智能体从多种检索选项中进行选择:






欢迎光临 链载Ai (https://www.lianzai.com/) Powered by Discuz! X3.5