介绍了Agent组件里的记忆功能如何实现
大半年前，介绍了基于LLM的Agent知识，文章《大模型智能体 LLM Agent》中提到：
Agent是大模型与场景间价值传递桥梁, 重要性不言而喻。
从功能上看，Agent有多个组件构成，规划、记忆和工具使用等
Agent=LLM+ Planning + Feedback + Tool use
今天聊聊其中的一个组件：Memory，记忆模块
（1）什么是记忆？
记忆定义为用于获取、存储、保留和后续检索信息的过程，人类大脑中主要有三种类型的记忆。
感官记忆（Sensory memory）
记忆最早阶段，提供原始刺激结束后保留感官信息（视觉，听觉等）印象的能力，通常只持续几秒钟。
感官记忆的子类别包括图标记忆（视觉）、回声记忆（听觉）和触觉记忆（触觉）。
短时记忆（STM）或工作记忆（Working Memory）
存储了当下能意识到的所有信息，以及执行复杂的认知任务（如学习和推理）所需的信息，大概可以存储7件事，持续20-30秒。
长期记忆（LTM）
顾名思义，LTM可以将信息存储相当长的时间，范围从几天到几十年不等，具有基本上无限的存储容量。LTM有两种亚型：
1）显式/陈述性记忆，即对事实和事件的记忆，指那些可以有意识地回忆起来的记忆，包括情景记忆（事件和经验）和语义记忆（事实和概念）。
2）隐式/程序性记忆，这种类型的记忆是无意识的，包括自动执行的技能和例程，比如骑自行车或在键盘上打字。
对应语言模型概念：
作为原始输入（包括文本、图像或其他形式）的学习嵌入表征的感官记忆;
短期记忆就是上下文学习（in-context learning），非常短且影响范围有限，受到Transformer的上下文窗口长度的限制。
长期记忆作为智能体在查询时可用的外部向量存储，可通过快速检索访问。
可见，记忆模块像 Agent大脑，帮助积累经验，自我进化，让行为更加一致、合理和有效。
LLM Memory设计灵感来自人类记忆过程的认知科学研究。
人类记忆发展：从感觉记忆开始，它记录感知输入；然后是短期记忆，暂时保持信息；最后是长期记忆，在更长的时间内巩固信息。
Agent 记忆结构设计借鉴了人类记忆特点。
短期记忆类似受限于transformers上下文窗口的输入信息。
长期记忆则类似于外部向量存储，Agent可以根据需要快速查询检索。
（2）LLM记忆从何而来？
记忆来源: 智能体记忆内容的出处。
三种类型记忆来源：
①内部任务信息（Inside-trial Information）: 当前任务执行信息
单个任务或交互过程中收集的数据。仅与当前正在进行的任务有关。
一个对话人物, Agent 要记住上下文信息,以便生成连贯的回应
②跨任务信息（ Cross-trial Information ）: 历史任务重的长期积累学习
跨越了多个任务或交互过程，它包括了Agent在不同任务中积累的经验、学到的教训以及可能的模式识别
旅行计划中, Agent 从用户预订过的机票酒店,用户反馈 这类跨任务信息优化改进执行策略
③外部知识（External Knowledge）
Agent 与环境交互之外的信息。
可能是通过API调用、数据库查询或访问在线资源（如维基百科）等方式获得的
各个 记忆实现案例 分布对比
参考：Agent memory大揭秘：记忆从哪儿来？
其中，ExpeL的工作流程图包含以上三种方式
（3）LLM记忆如何保存？
记忆如何保存?文本形式、参数形式为主
文本形式的记忆和参数形式的记忆同样也是各有千秋，它们适合不同的应用场景。
如果要快速回忆最近的对话，文本形式可能更合适；
而如果要存储大量知识，或者需要一个稳定可靠的知识库，参数形式可能更有优势。
各种记忆形式案例总结
Agent memory大揭秘：5种记忆形态，轻松拿捏
（a）文本形式
分析
好处: 易于理解和实现，而且读写速度都很快。
但是，如果记忆太长，就会占用很多空间，影响处理速度。
文本形式记忆可进一步细分为几种类型：
存储完整的交互信息: ReAct
最近的交互信息
检索到的交互信息和外部知识。
MemGPT 分别体现出了短期和召回记忆；
Qwen-Agent中，通过 chatml 特有多轮格式<im_start><im_end>进行分割历史的会话，最后一轮才加上ReAct的prompt。
(b) 参数形式
这种方式更高级。不直接存储文字，而是把记忆转换成模型参数，就像是把知识压缩成精华。
好处: 不受文本长度限制，而且存储效率更高。
但是，写入时可能需要更多的计算，而且解释起来也不如文本形式直观。
参数形式的记忆则涉及更复杂的技术，比如: fine-tuning 和 editing。
微调可以帮助模型快速学习特定领域的知识
而知识编辑则可以精确地更新或删除某些记忆，避免影响其他无关的知识。
经典Character-LLM: A Trainable Agent for Role-Playing，用微调方式
（c）图谱
另外，也有更高级的形式：图谱
比如微软推出的 GraphRAG，使用LLM从语料中挖掘实体、关系，组成知识图谱，供下游使用。
详见：https://microsoft.github.io/graphrag/
形态上越来越像人类。
不少人将知识图谱技术利用起来，比如 Neo4j，效果示例：
使用 Cypher语言查询节点，结果融入LLM
（4）LLM记忆如何工作？
实际应用中
有些系统只模拟人类的短期记忆，通过上下文学习实现，记忆信息直接写在prompt中。
而有些系统则采用了hybird memory（混合记忆架构），明确模拟了人类的短期和长期记忆。短期记忆暂时缓冲最近的感知，而长期记忆则随着时间的推移巩固重要信息。
记忆格式上，可以自然语言或嵌入向量形式存储。
操作方面，Agent通过记忆阅读、记忆写入和记忆反思三个关键操作与外部环境进行交互。
记忆阅读: 提取有意义的信息, 以增强Agent的行动；
记忆写入: 将感知到的环境信息存储在记忆中；
记忆反思: 模拟了人类审视和评估自己的认知、情感和行为过程的能力。
记忆操作像 LLM大脑，三个部分组成：记忆写入、记忆管理和记忆读取。
①记忆写入: LLM短期记忆, 接收到新信息时(聊天),以特殊编码方式存入"大脑"
MemGPT: 自我指导是否写入记忆,智能体根据上下文决定是否更新
MemoGPT: 聊天时做总结, 提取对话片段的主题, 关键词形式保存,便于查找, topic,summary,dialogues
②记忆管理: LLM长期记忆, 整理短期记忆信息;信息归类, 找出最重要的部分,忘掉次要信息,保持大脑的清晰、高效
MemoryBank: 智能体从对话内容中提炼每日大事记, 同时不断评估，生成个性特征
Voyager: 智能体根据环境反馈优化记忆
Generative Agents: 智能体自我反思，获取更高层次的信息. 从事件信息中生成抽象想法
GITM: 记忆模块中总结多个计划的关键行动, 建立各种情况下的共同参考计划, 提取最重要的行动步骤
③记忆读取: 使用LLM记忆解决问题
ChatDB: SQL操作完成记忆阅读
MPC: 从记忆池里检索相关记忆, 使用思维链示例方式，忽略次要信息
ExpeL: 用Faiss向量库作为记忆池, 找出与当前任务最相似的k个成功示例.
参考：Agent memory大揭秘：轻松搞定记忆写入、管理、读取
| 欢迎光临 链载Ai (https://www.lianzai.com/) | Powered by Discuz! X3.5 |