一个在你睡觉时仍在运行的Loop循环，并不自动等于一个会学习的Loop循环。经验能否在每一轮迭代中存活下来，完全取决于它最终沉淀在哪里。

今天分享一篇清华大学关于经验时代（Era of Experience），已部署的 Agent 如何将交互轨迹转化为持久的能力，从自我进化到元进化的论文。

1. 经验时代已经到来

传统 AI 以静态数据训练为核心，而未来的 Agentic AI 将由部署后的交互经验定义。Silver 和 Sutton 提出的 "Era of Experience" 指出：智能体的进步不再仅来自预训练语料，而来自与环境交互中积累的 grounded rewards 和长程后果。

论文将这一趋势形式化为一个运行时对象：

其中   是基座模型，  是可变的 Harness（运行时控制层），  是用户侧，  是环境侧。Harness 是经验流的中介：它决定用户请求如何变成模型可见的上下文，模型输出如何变成环境动作，以及交互痕迹如何编译为未来的更新信号。

2. Harness：经验基础设施

Harness 是围绕模型的运行时控制层，负责组织上下文、工具访问、权限、执行、反馈、记忆和恢复。它的关键价值在于时间尺度不对称性：Harness 状态可以在部署期间被频繁、低成本地检查、修订和治理，而模型权重则不能。

• Gen 1（Task Loops）：WebGPT、ReAct、Reflexion。建立了接口接地（interface grounding），但状态大多是 episodic，任务结束后无法复用。
• Gen 2（Cross-Task Reuse）：Voyager、AutoGen、MetaGPT、LangGraph、SWE-agent。引入持久化状态、可复用技能库、多智能体协调与工作流结构。
• Gen 3（Runtime Systems）：Claude Code、Codex、Cursor 3、OpenClaw、Hermes Agent。Harness 本身成为工程对象，支持部署时自适应与经验积累。

一个正在运行的循环，和一个会学习的循环，不是一回事。

在单个任务内部，agent 循环（行动→观察→决策→重复）只需要成功一次就够了。但学习不同：它需要在多个窗口之间积累跨会话的经验。

将已部署的 agent 形式化为四个部分：基础模型 + 可变的 harness（ harness 工程）+ 面向用户的一侧 + 面向环境的一侧。harness 是你可以在部署时间尺度上检查并修改的部分——成本远低于调整权重——它负责将原始轨迹（τ）编译为可复用的经验（z），然后将这些经验路由到正确的位置。

Loop循环运行在 harness 之上。harness 决定这个Loop循环能保留什么。

3. Skills：经验如何变成可复用程序

技能（Skill）是程序性经验的外部化。论文采用社区收敛的 SKILL.md 模式定义技能元组：

• M：Manifest（元数据，用于运行时发现）
• I：Instruction（任务执行指令）
• R：Reference（参考文档、Schema、示例）
• A：Artifact（可执行脚本、模板、辅助代码）

3.1 技能生命周期：创建 → 使用 → 进化

Skill Creation：来源包括专家编写（Anthropic/ClawHub）、仓库挖掘（Repo-Based）、文档蒸馏（Corpus2Skill）和离线轨迹（Trace2Skill/SkillX）。

Skill Use：包含三个关键问题：

• Routing：在大型库中检索正确技能。SkillsWild 发现，强制加载精选技能可以优于从大规模混合池检索——库的增长可能掩盖有用技能。
• Composition：将选中技能组合为任务级流程。SkillNet 通过全局关系图、GoSkills 通过局部图、SkillRAE 通过 rescued cues 解决兼容性问题。
• Execution：在 Harness 约束下运行。SkillSmith 将离线包编译为边界引导的运行时接口，减少 token 使用和延迟。

Skill Evolution：部署证据驱动库更新。关键操作包括：

• Add：覆盖缺口（Trace2Skill, AutoSkill）
• Edit：修复质量缺口（SkillForge, XSkill）
• Prune/Retire：清理污染（AutoRefine, Hermes Agent）
• Validation：SkillsBench 显示，自生成技能可能导致负迁移（negative transfer），端到端验证必不可少。

4. Memory：经验如何变成持久状态

记忆与技能不同：技能规定"如何再做一次"，记忆保存"发生了什么、什么变了、什么失败了"。

4.1 记忆作为上下文介导的持久性

论文将记忆系统解构为三层：

表示层（Representation）：

• 内容单元：原始日志 / 情节轨迹 / 摘要 / 语义抽象
• 组织结构：扁平追加式 / 分层式（MemGPT, LightMem）/ 关系图式（PlugMem, AriadneMem, GAAMA, SAGE）

操作层（Operations）：

• Write/Admission：自适应准入控制（Adaptive Memory Admission Control）
• Compression：从工作内存压缩到语义事实提取
• Consolidation：跨会话合并与抽象（A-MEM, Auto-Dreamer）
• Retrieval/Activation：从相似度检索到图遍历（MemORAI）
• Update/Revision：处理过时与冲突（Live-Evo, STALE, MemoRepair）

进化层（Evolution）：

• Content Evolution：记忆内容本身的精炼
• Mechanism Evolution：记忆组织与提取方式的改进（MetaMem, MemSkill）
• Policy Evolution：何时写、何时读、何时遗忘的控制策略学习（AgeMem, MemRL, DeltaMem）

5. Environment：智能体经验的天花板

环境不仅是外部世界，更是自改进的上限变量。如果动作表面狭窄、反馈稀疏、任务 horizon 短，再复杂的 Harness 改进也难以产生实质收益。

5.1 环境作为运行时适应的上限

论文提出三个分析维度：

• Action Diversity：可执行动作的广度（CLI → Browser → Desktop → App Ecosystem）
• Feedback Density：反馈的可归因性与密度（执行错误、状态测试、验证器输出）
• Task Horizon：时序深度与状态可恢复性

从 ALFWorld 到 Voyager、WebArena、OSWorld、AppWorld，再到 Terminal-Bench 和 SWE-Gym，环境正在从"可执行"向"可学习"演进。

5.2 从可执行到可学习：三层递进

关键结论：可执行环境、标准化边界、可学习环境是三个不同的成就，分别对应"让软件可运行"、"让经验可携带"、"让经验可优化"。

6. RL 与持续学习：经验如何固化到参数

当 Harness 侧的经验变得稳定且通用时，就需要考虑参数路径——将经验内部化为模型权重。

6.1 为什么参数固化重要？

三大动机：

1. Internalize priors：避免重复支付上下文编排开销（Composer 2, Cursor RL）
2. Transfer beyond context：策略更新可跨任务、会话、用户迁移（SEAgent, UI-Mem）
3. Collective evolution：联邦式更新让单个智能体的经验成为共享先验

参数更新遵循选择-信号提取-优化流程：

6.2 预部署训练：垂直能力与 Harness 功能单元

• 垂直能力：SWE-Gym、MLE-Dojo、SearchGym、CUA-Gym 等可执行训练基底，通过 SFT + RL 培养领域能力。
• Harness 功能单元训练：让策略学会调用子智能体（Router-R1, xRouter, ToolOrchestra）、使用技能（SkillRL, D2Skill, SKILL0）和操作记忆（MemSearcher, Agentic Memory, EMPO²）。

6.3 部署后训练：从真实痕迹中学习

最强公开证据来自工业界：

• Composer 2 / Cursor RL：在真实 Cursor 会话中运行 RL，使用与部署相同的工具和 Harness
• Codex：在真实世界编码任务上使用 RL 训练
• OpenClaw-RL / MetaClaw：将实时用户回复、工具输出和终端状态作为在线 RL 监督

瓶颈不在于策略梯度算法，而在于痕迹到更新的系统：轨迹选择、大规模收集、信号提取、同 Harness 训练。

7. 元进化智能体：谁来控制进化？

当改进过程本身成为优化对象时，就进入了元进化（Meta-Evolution）  regime。

7.1 三种进化 regime

• TaskAgent Self-Evolution：内容资产（技能、记忆、偏好）的积累
• TaskAgent Meta-Learning：学习如何学习，改进执行机制（MetaAgent, ExpWeaver, ARISE）或改进策略（Multi-Agent SAGE, Ace-Skill, SkillRL）
• Meta-Evolving Agent：由功能独立的 Meta-layer 持续优化 TaskAgent，甚至优化自身

7.2 Meta-layer 控制执行机制

• 局部控制策略：MetaMem（元记忆规则）、MemSkill（记忆技能库）、CluE（提示进化循环）
• 能力资源生命周期：Mem2Evolve（工具/专家代理的创建-验证-蒸馏）、MetaClaw（快速技能进化 + 慢速策略固化）、Continual Harness（CRUD 编辑系统提示/子智能体/技能/记忆）
• 持久组织与认知状态：HERA（编排器 + 经验库）、AutoAgent（执行循环 + 进化循环）

7.3 Meta-layer 控制改进策略

• MetaEvo：基于原则的元优化自校正循环
• SkillOS：冻结执行器，训练独立的 Skill Curator 学习库级策展（insert/update/delete）
• Autogenesis：RSPL（资源规范）+ SEPL（反射-选择-改进-评估-提交循环）

7.4 Meta-layer 自我改进

• Agent0 / Tool-R0：课程/任务合成策略作为进化对象
• Group-Evolving Agents：群体级改进状态（档案、父选择、共享经验池）本身演化
• Hyperagents：将 task_agent.py 和 meta_agent.py 置于同一可编辑程序空间，支持自我引用式元进化

https://openreview.net/pdf?id=IUltZSgLMm
Self-Improving Agents in the Era of Experience: A Survey of Self- to Meta-Evolution
https://github.com/FrontisAI/Awesome-Self-Improving-Agents