MemGPT框架使 LLM 具有长期记忆和自我管理的背景超过固定的令牌限制

MemGPT 是一个开源框架，旨在解决大型语言模型的核心限制之一：固定的上下文窗口。该项目源自加州大学伯克利分校的研究，提出将 LLM 的有限上下文视作操作系统管理有限物理内存的方式，利用分页和分层内存层级，为模型营造出更大、更持久的内存空间的效果。 核心思路直接借鉴了操作系统设计。MemGPT 区分了上下文内存（当前位于模型提示窗口中的 token）和存在上下文外部的外部存储。LLM 本身配备了函数调用工具，让其决定何时在这些层级之间移动信息——例如，将重要事实保存到长期存储，检索相关过去信息，或编辑其自身的核心记忆。这种自我编辑行为使得代理能够在长时间对话或远超单个上下文窗口的文档中保持连贯、演进的状态。 该框架面向需要为用户和先前交互持久记忆的对话代理开发者，以及在超出上下文范围的庞大文档集合上进行分析的开发者。通过管理召回内存、档案存储和工作上下文，MemGPT 使得代理能够在对话中引用更早的细节，而无需开发者为每种情况手动搭建检索流水线。 MemGPT 支持 OpenAI 的专有模型和本地托管的开放模型，并且可以与向量数据库和其他存储后端集成，以在会话之间持久化内存。该项目随后演进，并与 Letta 紧密关联，Letta 是一家公司和平台，继续开发底层的有状态代理概念，提供围绕原始思路的服务器和工具。 它的主要优势在于概念清晰和一个具体、可复用的长期记忆模式，超越了简单的检索增强生成。权衡因素与代理框架典型相符：自编辑记忆循环高度依赖模型的函数调用可靠性，这在较小或本地模型中可能表现不同，额外的内存管理步骤则会增加延迟和令牌开销。作为一个不断发展的开源项目，其命名、API和相关生态系统随时间变化，这使得文档和版本管理成为一个动态目标。