Agent记忆怎么做？中大团队创新突破

1 引言与研究动机大型语言模型LLM如GPT-5、Qwen3和Claude Sonnet 4.6的快速发展推动了基于LLM的智能体在软件工程、个人助理等多样化领域实现自主规划、推理与执行。记忆机制已成为支持这些智能体完成长时序、复杂任务的核心能够促进知识积累、迭代推理与自我进化。传统仅依赖长上下文提示的方式难以在长时间交互中持续保持相关信息导致多轮对话和多会话任务中的性能下降。本领域面临的主要挑战包括• 缺乏统一框架以系统性分析和比较智能体记忆方法• 对各记忆组件作用与影响的理解有限• 缺乏关于准确性与效率的全面、系统实验对比。本研究针对上述空白提出了统一、模块化的智能体记忆框架开展了大规模实验对比并引入了一种新的最先进记忆方法。下表1从存储结构、信息抽取、记忆管理和检索四个关键维度对十种代表性智能体记忆方法进行了分类。2 统一的模块化智能体记忆框架本研究提出了一个统一的模块化框架将智能体记忆系统分解为四个核心组件从而实现对多样化记忆方法的系统分析与比较。四个关键组件包括• 信息抽取Information Extraction 从用户消息中识别并提取对记忆更新有用且必要的信息过滤冗余内容并将其转化为结构化知识如摘要、三元组。• 记忆管理Memory Management 通过整合、更新、过滤和增强等操作将新信息与现有记忆融合确保知识的连贯性与时效性。• 记忆存储Memory Storage 采用基于向量、图结构或混合格式对处理后的记忆进行组织与持久化支持高效检索与可扩展性。• 信息检索Information Retrieval 从记忆中检索最相关的信息以支持推理或响应生成采用词汇、向量、结构化或LLM辅助等策略。该模块化设计实现了对多样记忆体系结构的抽象并促进了系统性基准测试。3 信息抽取策略信息抽取组件负责从用户消息中识别并提取对后续记忆处理有用且必要的信息。主要有三种抽取策略• 直接归档Direct Archiving 原始消息及时间戳未经处理直接归档提供完整但非结构化的记录。• 基于摘要的抽取Summarization-Based Extraction 利用LLM从对话轮次生成简明摘要、关键词和上下文标签提炼关键信息并减少冗余。下方展示了该方法的代表性提示词。• 基于图的抽取Graph-Based Extraction LLM抽取细粒度实体及关系形成主语–谓语–宾语三元组以构建知识图谱同时记录时间元数据以支持动态更新与时序推理。抽取方法的选择影响存储信息的粒度、完整性与结构进而影响后续的记忆管理与检索。4 记忆管理操作记忆管理过程决定了智能体系统如何随时间维护、优化和演化其记忆模拟人类记忆的生命周期。识别出五项核心操作• 关联相关经验Connecting Related Experiences 通过语义相似性、时间接近性或上下文相关性在记忆条目间建立显式关联如关联链接或图边。• 整合碎片化记忆Integrating Fragmented Memories 将重复或相关记录聚合为摘要或主题级抽象减少冗余并提炼关键信息。• 跨记忆层级迁移Transforming Across Memory Levels 实现分层迁移根据访问频率和新近性将重要信息从短期迁移至长期存储常采用多层级架构。• 更新现有记忆Updating Existing Memories 采用基于规则、LLM或智能体的方式修订、合并或解决记忆条目中的冲突确保一致性与知识的动态演化。• 过滤过时信息Filtering Obsolete Information 通过基于使用频率或内容的过滤移除或弱化过时、冗余或低效用的记忆保持记忆状态的紧凑与相关性。表2对代表性方法在这些操作上的实现进行了对比。5 记忆存储架构记忆存储组件决定了处理后记忆的组织与持久化方式需在效率、可扩展性与检索效果之间权衡。两种主要的组织范式• 扁平存储Flat Storage 所有信息聚合于单层结构如FIFO队列、JSON文件结构简单但可扩展性有限。• 分层存储Hierarchical Storage 将记忆划分为多层级架构如短期、中期、长期支持不同粒度下的专门管理与检索策略。例如MemoryOS采用三层级结构以优化知识持久性与计算开销。两种主要的表示范式• 基于向量的存储Vector-Based Storage 将文本记忆编码为高维嵌入存储于向量数据库如FAISS、Qdrant支持高效的语义相似性检索是可扩展检索的基础。• 基于图的存储Graph-Based Storage 利用图结构树、知识图谱、时序图捕捉结构关系与多跳关联。例如MemTree实现分层记忆组织Zep构建分层时序知识图谱。存储架构的选择直接影响检索策略、可扩展性及对复杂关系的捕捉能力。6 信息检索范式信息检索组件决定了如何从记忆存储中提取相关信息以支持推理与响应生成。四种主要检索范式• 基于词汇的检索Lexical-Based Retrieval 依赖表层词元重叠如Jaccard相似度、BM25适用于精确术语匹配与实体检索。• 基于向量的检索Vector-Based Retrieval 利用嵌入空间中的语义相似性解决词汇不匹配问题并捕捉潜在语义关系。采用近似最近邻ANN算法如HNSW、PQ以实现可扩展性。• 基于结构的检索Structure-Based Retrieval 利用图结构或分层存储中的显式关系通过图遍历或多跳推理检索互相关联的信息簇。• LLM辅助检索LLM-Assisted Retrieval 融合LLM以引导或优化检索将模糊提示转化为精确查询或识别关键实体从而挖掘潜在语义依赖并提升查询与检索知识的对齐度。检索范式的选择需与存储架构及被检索信息的特性相匹配平衡精度、召回率与计算效率。7 实验评估与分析本研究在统一框架下对十种代表性智能体记忆方法进行了全面实验评估与比较。实验设置• 基准数据集 采用两个数据集LOCOMO包含人类对人类对话每轮对话平均198.6个问题涵盖27.2个会话和588.2轮对话。问题类型包括单跳检索、多跳检索、时序推理和开放域知识。LONGMEMEVAL包含用户与AI交互500个问题每轮对话平均50.2个会话平均115,000个token。评估信息抽取、多会话推理、知识更新和时序推理。• 评测指标 采用F1基于token的重叠和BLEU-1带简短惩罚的一元精度进行评估。• 实现方式 所有方法均在统一框架下用Python重实现默认LLM主干为Qwen2.5-7B-Instruct最大上下文长度20,000个token采用贪婪解码。主要结果• 整体性能 基于树和分层的记忆方法如MemTree、MemOS、MemoryOS在两个基准上均显著优于扁平或结构较弱的方法F1得分最高。• 信息完整性 在抽取阶段保留原始消息并在生成响应时引入原始对话的方法优于仅依赖结构化表示如三元组的方法。• 记忆组织 相关信息间的显式或隐式连接提升了连贯性和多跳推理能力。• 时序推理 时序任务的性能高度依赖于主干LLM的推理能力凸显了专用架构组件的必要性。表3和表4展示了各方法在不同基准下的详细性能对比。Token消耗与可扩展性• 更高性能通常伴随更高的token消耗但架构设计是成本效率的主要决定因素。• 分层与分段处理可在不牺牲准确性的前提下降低token成本。• 某些方法如MemTree、Zep在记忆体量增长时由于更新与去重复杂度提升表现出较差的可扩展性。上下文可扩展性与位置敏感性• 随着上下文长度增加大多数方法的F1得分下降噪声增多。• 分层、基于规则的管理如MemoryOS在扩展下保持更高稳定性。• 位置敏感性分析显示存在新近性偏置后置证据更易被检索前置证据更易被覆盖或忽略。LLM主干依赖性• 大多数方法在闭源GPT-4o-mini下表现最佳在开源模型中Qwen2.5-7B普遍优于LLaMA3.1-8B。• 扩大LLM主干规模可显著提升性能但也加重了对模型推理能力的依赖。8 新一代最先进记忆方法基于实验分析设计了一种新型记忆框架融合了MemTree与MemOS的树状组织方式和MemoryOS的分层存储架构。新方法的主要特性• 将记忆分为短期、中期和长期层级结合分层与树状架构的优势。• 在LONGMEMEVAL和LOCOMO两个基准上均取得最先进性能在所有任务类别中表现极具竞争力。• 计算开销极低平均每轮对话token消耗不足450。• 在多种LLM主干下展现出强大的泛化能力。性能亮点• 在LONGMEMEVAL上各评测类别均排名第一或第二在Information Extraction-assistant任务上F1提升13.08%整体F1较最强基线提升5.17%。• 在LOCOMO上超越强基线MemOS尤其在Qwen2.5-72B主干下表现突出并在所有类别中持续获得提升。该方法在性能与token效率之间实现了最优平衡优于更复杂且成本更高的基线方法。9 经验总结与未来展望对实践者的启示• 分层组织树状索引或多级存储在捕捉结构关系和支持可扩展记忆管理方面优于扁平结构。• 信息完整性至关重要结构化表示如三元组有助于组织但保留原始对话上下文对于防止语义丢失不可或缺。• 优化记忆粒度将多轮对话作为单元处理可减少token消耗并保持检索信息的连贯性。未来研究机遇• 统一的多模态记忆机制 现实世界记忆涉及异构来源文本、音频、图像、视频未来系统应支持在统一存储与检索框架下的多模态记忆。• 记忆压缩 面对存储规模和检索开销的快速增长需探索潜在表示和学习型压缩机制实现高密度、可用的记忆。• 双向记忆转化 当前分层机制侧重于将短期记忆整合为长期记忆设计支持高效整合与重构的双向机制是有前景的方向。学AI大模型的正确顺序千万不要搞错了2026年AI风口已来各行各业的AI渗透肉眼可见超多公司要么转型做AI相关产品要么高薪挖AI技术人才机遇直接摆在眼前有往AI方向发展或者本身有后端编程基础的朋友直接冲AI大模型应用开发转岗超合适就算暂时不打算转岗了解大模型、RAG、Prompt、Agent这些热门概念能上手做简单项目也绝对是求职加分王给大家整理了超全最新的AI大模型应用开发学习清单和资料手把手帮你快速入门学习路线:✅大模型基础认知—大模型核心原理、发展历程、主流模型GPT、文心一言等特点解析✅核心技术模块—RAG检索增强生成、Prompt工程实战、Agent智能体开发逻辑✅开发基础能力—Python进阶、API接口调用、大模型开发框架LangChain等实操✅应用场景开发—智能问答系统、企业知识库、AIGC内容生成工具、行业定制化大模型应用✅项目落地流程—需求拆解、技术选型、模型调优、测试上线、运维迭代✅面试求职冲刺—岗位JD解析、简历AI项目包装、高频面试题汇总、模拟面经以上6大模块看似清晰好上手实则每个部分都有扎实的核心内容需要吃透我把大模型的学习全流程已经整理好了抓住AI时代风口轻松解锁职业新可能希望大家都能把握机遇实现薪资/职业跃迁这份完整版的大模型 AI 学习资料已经上传CSDN朋友们如果需要可以微信扫描下方CSDN官方认证二维码免费领取【保证100%免费】