Memento 3: Model-Based Recursive Self-Improvement through Reflective Rulebooks（Memento 3：通过反思规则簿实现基于模型的递归自我改进）

📅 2026-10-11 | 🏷️ 前沿论文 | ⭐ HF upvotes 28
🔗 原文：https://huggingface.co/papers/2610.11794

是什么

Memento 3 是 Memento 系列的最新工作，研究一个关键问题：不微调模型权重的 LLM Agent 如何在陌生环境中持续积累经验、越用越聪明？答案是让 Agent 维护一份自然语言写成的"规则簿"（rulebook）作为持久语义记忆：记录关于环境运行规律的可修订假设，而把暂不确定的部分留白；每当新证据到来，就回头修订规则。这相当于给冻结的模型外挂了一个不断进化的"世界观"，实现基于模型的递归自我改进。

🔍 小白解读

先说几个词

• 世界模型（World Model）：脑子里对"世界怎么运转"的一套理解。比如你知道"雨天路滑要早刹车"，这就是一个世界模型。
• 冻结模型（Frozen Model）：模型参数锁死不训练、不更新的状态。我们平时用的商用大模型 API 都是冻结的——厂商不会因为你用了几次就重新训练它。
• 外部记忆（External Memory）：模型本体不变，把经验存在外面的数据库/文档里，用的时候查。相当于给人配一个随身笔记本。
• 规则簿（Rulebook）：这篇论文的核心载体——用大白话写成的"环境规律清单"，比如"在这种地图里，往左走会撞墙"，每条都可以根据新证据修订。
• 持续学习（Continual Learning）：边用边学、越用越好的能力。传统上要靠重新训练，成本高还容易"学了新的忘了旧的"。

这篇到底在说什么

打个比方：一个外派员工（冻结的 LLM）到了新公司，公司不会为他重新"造"一个人，但他可以带一本工作笔记，把"这家公司的报销要走哪个流程、哪个系统有坑"一条条记下来，而且发现记错了就划掉重写——下次就不会再踩坑。Memento 3 就是给 AI Agent 配了这样一本"可修订的工作笔记"。它的聪明之处有两点：一是笔记用自然语言写，人和模型都能读、都能改，透明可审计；二是明确区分"已验证的规律"和"待观察的假设"，不把一次偶然当成真理。论文指出，有限的观察往往对应多种都能解释过去、但在新情况下预测不同的世界模型，所以"承认未知、持续修订"本身就是这套方法的设计核心。

这跟普通人有什么关系

你用的 AI 助手之所以"每次都要从头解释一遍"，就是因为模型是冻结的。这类研究意味着未来的 AI 助手可以名正言顺地说"上次你纠正过我，我记住了"——而且因为记在明面上的规则簿里，你能翻开检查它到底记了什么、错了可以改，比黑箱更让人放心。

为什么值得架构师关注

• Agent 记忆层的具体设计模式：相比"往向量库存对话"的粗放做法，"自然语言规则簿 + 可修订假设 + 留白未知"是一套可直接落地的语义记忆 schema，适合客服、运维、业务流程类需要积累经验的 Agent。
• 免微调的自我改进路线：经验沉淀在外部记忆而非权重里，意味着跨模型可迁移（换底座模型笔记还能用）、可审计（规则人工可读可改）、可回滚——这三点直接命中企业落地 agent 的治理要求。
• 与 RAG 的分工：规则簿存"规律/策略"，RAG 存"事实/文档"，两者互补；架构上值得为"策略性知识"单独建一层存储。

核心内容

• 提出 Memento 3：冻结 LLM Agent 通过外部记忆持续学习显式世界模型，Memento 系列延续工作。
• 核心载体是自然语言"规则簿"：记录关于环境动态的可修订假设，未验证的部分明确留白。
• 强调观察有限时存在多个"都符合历史、预测各异"的世界模型，因此设计上以"承认未知 + 持续修订"应对。
• 实现不微调权重的递归自我改进：经验更新发生在外部记忆层。
• HF 每日论文 28 个 upvote，在当日列表中位列前三。

行动建议

• 做长期运行 Agent（运维副驾、客服、流程自动化）的团队：把"经验规则簿"作为记忆架构的一个候选层评估，重点验证规则冲突消解与修订频率控制。
• 已有 RAG 体系的团队：可先做低成本实验——让 Agent 在完成任务后产出"本次学到的规则"入库存，观察跨会话成功率变化。
• 论文方向对"Agent 持续学习 / 经验复用"研究线有启发，值得跟踪其后续开源实现。