一个在你睡觉时仍在运行的 Loop 循环，并不自动等于一个会学习的 Loop 循环。经验能否在每一轮迭代中存活下来，完全取决于它最终沉淀在哪里。
本文基于清华大学关于“经验时代”（Era of Experience）的研究，探讨已部署的 Agent 如何将交互轨迹转化为持久能力，实现从自我进化到元进化的跨越。
1. 经验时代已经到来
传统 AI 以静态数据训练为核心，而未来的 Agentic AI 将由部署后的交互经验定义。Silver 和 Sutton 提出的"Era of Experience"指出：智能体的进步不再仅来自预训练语料，更来自与环境交互中积累的 grounded rewards 和长程后果。
论文将这一趋势形式化为一个运行时对象，其中基座模型与可变的 Harness（运行时控制层）、用户侧及环境侧共同协作。Harness 是经验流的中介，决定用户请求如何变成模型可见的上下文，模型输出如何变成环境动作，以及交互痕迹如何编译为未来的更新信号。
2. Harness：经验基础设施
Harness 是围绕模型的运行时控制层，负责组织上下文、工具访问、权限、执行、反馈、记忆和恢复。其关键价值在于时间尺度不对称性：Harness 状态可以在部署期间被频繁、低成本地检查、修订和治理，而模型权重则不能。
- Gen 1（Task Loops）：如 WebGPT、ReAct、Reflexion。建立了接口接地，但状态大多是 episodic，任务结束后无法复用。
- Gen 2（Cross-Task Reuse）：如 Voyager、AutoGen、MetaGPT、LangGraph、SWE-agent。引入持久化状态、可复用技能库、多智能体协调与工作流结构。
- Gen 3（Runtime Systems）：如 Claude Code、Codex、Cursor 3、OpenClaw、Hermes Agent。Harness 本身成为工程对象，支持部署时自适应与经验积累。
一个正在运行的循环和一个会学习的循环本质不同。在单个任务内部，agent 循环只需要成功一次；但学习需要在多个窗口之间积累跨会话的经验。Harness 负责将原始轨迹编译为可复用的经验，并路由到正确的位置。
3. Skills：经验如何变成可复用程序
技能（Skill）是程序性经验的外部化。论文采用社区收敛的 SKILL.md 模式定义技能元组，包含 Manifest（元数据）、Instruction（指令）、Reference（参考文档）和 Artifact（可执行脚本）。
3.1 技能生命周期：创建 → 使用 → 进化
Skill Creation：来源包括专家编写、仓库挖掘、文档蒸馏和离线轨迹。
Skill Use：涉及三个关键问题：
- Routing：在大型库中检索正确技能。研究表明，强制加载精选技能可能优于从大规模混合池检索。
- Composition：将选中技能组合为任务级流程，解决兼容性问题。
- Execution：在 Harness 约束下运行，减少 token 使用和延迟。
Skill Evolution：部署证据驱动库更新，包括覆盖缺口、修复质量缺口、清理污染以及端到端验证，以避免负迁移。
4. Memory：经验如何变成持久状态
记忆与技能不同：技能规定“如何再做一次”，记忆保存“发生了什么、什么变了、什么失败了”。
4.1 记忆作为上下文介导的持久性
论文将记忆系统解构为三层：
- 表示层：涵盖内容单元（原始日志、摘要等）与组织结构（扁平、分层或关系图式）。
- 操作层：包括自适应准入控制、压缩、跨会话合并、检索激活以及处理过时与冲突的更新机制。
- 进化层：涉及记忆内容精炼、组织提取方式改进以及读写遗忘策略的学习。
5. Environment：智能体经验的天花板
环境不仅是外部世界，更是自改进的上限变量。如果动作表面狭窄、反馈稀疏、任务 horizon 短，再复杂的 Harness 改进也难以产生实质收益。
5.1 环境作为运行时适应的上限
分析维度包括：Action Diversity（可执行动作广度）、Feedback Density（反馈的可归因性与密度）以及 Task Horizon（时序深度与状态可恢复性）。环境正从“可执行”向“可学习”演进。
5.2 从可执行到可学习：三层递进
关键结论：可执行环境、标准化边界、可学习环境是三个不同的成就，分别对应“让软件可运行”、“让经验可携带”、“让经验可优化”。
6. RL 与持续学习：经验如何固化到参数
当 Harness 侧的经验变得稳定且通用时，需考虑参数路径——将经验内部化为模型权重。
6.1 为什么参数固化重要？
三大动机：Internalize priors（避免重复支付上下文开销）、Transfer beyond context（策略跨任务迁移）以及 Collective evolution（联邦式更新共享先验）。
6.2 预部署训练：垂直能力与 Harness 功能单元
- 垂直能力：通过 SFT + RL 培养领域能力（如 SWE-Gym、MLE-Dojo）。
- Harness 功能单元训练：让策略学会调用子智能体、使用技能和操作记忆。
6.3 部署后训练：从真实痕迹中学习
工业界最强证据包括 Composer 2/Cursor RL、Codex 以及 OpenClaw-RL/MetaClaw，均在真实世界任务上使用 RL 训练。瓶颈在于痕迹到更新的系统工程。
7. 元进化智能体：谁来控制进化？
当改进过程本身成为优化对象时，就进入了元进化（Meta-Evolution）阶段。
7.1 三种进化 regime
| 控制者 \ 进化对象 | TaskAgent 内容资产 | TaskAgent 机制/结构 | TaskAgent 改进策略 | Meta-layer 本身 |
| TaskAgent 内部控制 | TaskAgent 自进化 | TaskAgent 元学习 | TaskAgent 元学习 | — |
| 持久化 Meta-layer 控制 | — | 元进化智能体 | 元进化智能体 | 元进化智能体 |
- TaskAgent Self-Evolution：内容资产（技能、记忆、偏好）的积累。
- TaskAgent Meta-Learning：学习如何学习，改进执行机制或策略。
- Meta-Evolving Agent：由功能独立的 Meta-layer 持续优化 TaskAgent，甚至优化自身。
7.2 Meta-layer 控制执行机制
- 局部控制策略：如 MetaMem、MemSkill、CluE。
- 能力资源生命周期：如 Mem2Evolve、MetaClaw、Continual Harness。
- 持久组织与认知状态：如 HERA、AutoAgent。
7.3 Meta-layer 控制改进策略
- MetaEvo：基于原则的元优化自校正循环。
- SkillOS：训练独立的 Skill Curator 学习库级策展。
- Autogenesis：资源规范加反射 - 选择 - 改进 - 评估 - 提交循环。
7.4 Meta-layer 自我改进
- Agent0 / Tool-R0：课程/任务合成策略作为进化对象。
- Group-Evolving Agents：群体级改进状态本身演化。
- Hyperagents：支持自我引用式元进化。
论文来源：Self-Improving Agents in the Era of Experience: A Survey of Self- to Meta-Evolution
GitHub: https://github.com/FrontisAI/Awesome-Self-Improving-Agents版权声明
来源：PaperAgent。内容仅做学术分享之用，不代表本号观点，版权归原作者所有，若涉及侵权等行为，请联系我们删除。