文档问答太难了
含有丰富文本和视觉元素（如图表、图像等）的长文档，在进行文档问答时，现有的方案有其局限性：
传统的大型语言模型（LLMs）仅能处理文本信息 大型视觉语言模型（LVLMs）虽然能够处理视觉内容，但在处理长文档时往往效率低下，并且难以对文本和视觉信息进行有效的融合与推理。 现有的检索增强生成（RAG）方法虽然能够从长文档中提取关键信息，但它们通常仅依赖于单一模态（文本或图像）进行检索，缺乏跨模态的信息整合能力。
MDocAgent
5个智能体
MDocAgent通过引入多个专门的智能体（agents），协同处理文本和图像信息，以实现对文档内容的深入理解。 具体而言，MDocAgent 包含以下五个智能体：
通用智能体（General Agent）：负责初步的多模态信息整合，为后续的分析提供基础。 关键信息提取智能体（Critical Agent）：识别并提取对回答问题至关重要的文本和视觉信息，为其他智能体提供指导。 文本智能体（Text Agent）：专注于文本信息的分析，从文本中提取与问题相关的细节。 图像智能体（Image Agent）：专注于图像信息的分析，从图像中提取与问题相关的视觉细节。 总结智能体（Summarizing Agent）：综合所有智能体的输出，生成最终的答案。
MDocAgent架构
MDocAgent 通过多模态多智能体的协同工作，实现对文档内容的全面理解。 该框架不仅关注文本和图像信息的独立分析，还强调跨模态信息的融合与推理。 通过将文档预处理、多模态上下文检索、关键信息提取、专门智能体处理以及答案合成等步骤有机结合，MDocAgent 能够在复杂的文档环境中，精准地定位和整合关键信息，从而生成准确的答案。
文档预处理： 文档预处理的目的是，将文档转换为适合后续分析的格式。 对于文档中的每一页，使用 OCR 技术识别图像中的文本内容，同时通过 PDF 解析技术提取数字化文本。 将提取的文本表示为文本段落序列，每个段落包含一页中的部分或全部文本。 同时，将每一页的原始图像保留下来，以便后续的视觉分析。 多模态上下文检索： 多模态上下文检索阶段的目标是，从文档中检索与问题最相关的文本和图像信息。 使用 ColBERT 对文档中的文本段落进行索引，并根据问题检索出最相关的文本段落。 使用 ColPali 对文档中的图像页面进行处理，生成视觉嵌入向量，并根据问题检索出最相关的图像页面。 通过比较文本和图像的相关性得分，选择最相关的文本段落和图像页面作为后续分析的上下文。 这一阶段通过结合文本和图像检索，为后续的智能体分析提供了丰富的上下文信息。
关键信息提取： 关键信息提取阶段目的是，从检索到的上下文中提取对回答问题至关重要的信息。 通用智能体对检索到的文本和图像信息进行初步分析，生成初步答案。 关键信息提取智能体则进一步分析这些信息，提取出对回答问题至关重要的文本和视觉信息。 提取的关键信息将作为后续专门智能体处理的输入，指导它们的分析过程。 这一阶段通过提取关键信息，为后续的专门智能体处理提供明确的指导，提高系统的效率和准确性。 专门智能体处理： 专门智能体处理的目的是，对提取的关键信息进行深入分析。 文本智能体接收提取的关键文本信息和相关的文本上下文，通过分析文本内容，生成详细的文本答案。 图像智能体接收提取的关键视觉信息和相关的图像上下文，通过分析图像内容，生成详细的视觉答案。 文本智能体和图像智能体分别从文本和图像的角度对问题进行分析，生成的答案将作为后续答案合成阶段的输入。 这一阶段通过专门智能体的协同工作，实现对文本和图像信息的深入分析，为最终答案的生成提供了丰富的依据。
答案合成： 答案合成阶段目的是，综合所有智能体的输出，生成最终的答案。 总结智能体接收来自通用智能体、文本智能体和图像智能体的答案。 总结智能体分析这些答案，识别其中的共同点、差异和互补信息。 总结智能体根据这些分析结果，生成一个综合性的答案，该答案不仅考虑了文本和图像信息，还考虑了它们之间的关系。 这一阶段通过综合分析所有智能体的输出，生成了一个全面且准确的答案。
MDocAgent方案VS M3DocRAG & ColBERT+Llama3.1
案例1
要求比较文档中两个不同拉丁裔群体的人口数量：外国出生的拉丁裔和通过手机采访的拉丁裔。 文档中包含了相关的文本描述和表格数据，但这些信息分散在不同的位置，需要同时从文本和图像中提取并整合。
检索阶段： ColBERT 和 ColPali 成功检索到了包含相关信息的页面，但仅检索到页面是不够的，还需要进一步分析页面中的具体内容。 ColBERT：仅依赖文本信息，未能准确解析文本中的数值数据，错误地得出“外国出生的拉丁裔人口更多”的结论。 M3DocRAG：虽然结合了文本和图像信息，但由于缺乏对关键信息的细致提取和跨模态整合能力，未能正确回答问题。 MDocAgent 通过多模态上下文检索，同时利用文本和图像信息，避免了单一模态方法的局限性。 初步分析与关键信息提取： 通用智能体（General Agent）生成了一个初步但较为模糊的答案，指出“通过手机采访的拉丁裔人口更多”。 关键信息提取智能体（Critical Agent）识别出关键信息，包括文本中的“外国出生（排除波多黎各）”和图像中的“手机抽样框架”表格。 专门智能体处理： 文本智能体（Text Agent）根据关键信息提取智能体提供的线索，从文本中提取到“外国出生（排除波多黎各）的人数为 795”。 图像智能体（Image Agent）从表格中提取到“通过手机采访的人数为 1051”。 答案合成： 总结智能体（Summarizing Agent）整合所有智能体的输出，生成最终答案：“通过手机采访的拉丁裔人数（1051）大于外国出生的拉丁裔人数（795）”。
案例2：
要求从一个列表中识别出唯一一个没有包含人员的相应图像的原因。 文档中包含了一个关于 NTU 智慧校园的列表，但列表没有明确编号，且每个原因旁边都有相应的图像。
检索阶段： ColBERT 未能检索到正确的证据页面，导致 ColBERT + Llama-3.1-8B 无法回答问题。 ColPali 成功检索到了包含证据的页面，但由于缺乏对关键信息的细致提取和跨模态整合能力，未能正确回答问题。 MDocAgent 通过多模态检索，成功定位到包含关键信息的页面。 初步分析与关键信息提取： 通用智能体（General Agent）生成了一个初步答案，但未能准确识别。 关键信息提取智能体（Critical Agent）识别出关键文本线索“Most Beautiful Campus”和相应的视觉元素（NTU 校园的图像）。 专门智能体处理： 文本智能体（Text Agent）根据关键信息提取智能体提供的线索，尝试从文本中找到相关信息，但由于文本中没有明确的列表编号，未能直接找到答案。 图像智能体（Image Agent）利用关键信息，正确识别出“NTU campus without people”作为答案。 答案合成： 总结智能体（Summarizing Agent）综合所有智能体的输出，最终确定答案为“Most Beautiful Campus”，并指出该原因的图像中没有人员
案例3：
要求从文档中识别出 Professor Lebour 的学位。 文档中包含相关文本描述和图像，但信息分散在不同的位置，需要同时从文本和图像中提取并整合。
检索阶段： ColBERT 成功检索到了包含相关信息的页面，但 ColBERT + Llama-3.1-8B 在生成答案时错误地将 “F.G.S.” 识别为一个学位，导致答案不准确。 ColPali 未能检索到正确的页面，导致 M3DocRAG 无法回答问题。 MDocAgent 通过多模态检索，成功定位到包含关键信息的页面。 初步分析与关键信息提取： 通用智能体（General Agent）生成了一个初步答案，但未能准确识别所有信息，错误地将 “F.G.S.” 识别为一个学位。 关键信息提取智能体（Critical Agent）识别出关键文本线索 “M.A.”，并从图像中提取了相关的视觉线索。 专门智能体处理： 文本智能体（Text Agent）根据关键信息提取智能体提供的线索，从文本中提取到 “G. A. Lebour, M.A., F.G.S.”，并确认 “M.A.” 是一个学位。 图像智能体（Image Agent）利用关键信息，确认图像中没有提供额外的学位信息，但支持文本中的 “M.A.”。 答案合成： 总结智能体（Summarizing Agent）综合所有智能体的输出，最终确定答案为 “Prof. Lebour holds a Master of Arts (M.A.) degree.”。