【报告】清华重磅综述：AI智能体正在“觉醒”？从“执行任务”到“自我进化”的跨越（附PDF下载）

让 AI 在部署后“吃一堑长一智”，甚至学会“如何学习”。清华大学最新研究揭示了从静态模型向动态生命体演进的静悄悄革命。

当前，人工智能正站在新的奇点：AI 不再仅仅是执行命令的被动工具，而是正在演变为能够积累经验、自我进化的智能体（Agent）。传统模式下，模型训练如同学生毕业，面对新问题时要么依赖检索，要么等待重新训练，这在动态现实中显得笨拙且昂贵。

清华大学研究团队发布的综述《Self-Improving Agents in the Era of Experience: A Survey of Self- to Meta-Evolution》，描绘了 AI 智能体利用部署后的交互经验，主动重塑自身能力乃至进化方式的崭新图景。本文将从底层架构、核心组件、内化机制及终极形态四个维度，深度解析智能体的自我进化之路。

底层操作系统：Harness 构建进化基石

实现智能体进化的首要条件是构建允许其变化的“躯体”。论文提出了核心概念——Harness（缰绳/底层操作系统）。

专业解读：Harness 是包裹在大模型外的一层运行时基础设施，负责管理上下文、工具调用、权限分配、反馈记录及记忆控制。若将大模型比作“大脑”，Harness 则是其“身体”与“神经系统”。

• 时间差优势：修改 Harness 状态远比重新训练模型权重快速且低成本，能实现部署后的即时响应。
• 经验中转站：用户指令、环境反馈及工具执行结果均通过 Harness 捕获并编译为“经验”，进而决定是更新记忆技能还是微调模型。

核心结论：Harness 赋予了智能体可随时升级的“软体”，为后续的自我进化提供了物理基础。

三大核心组件：经验驱动的效能跃迁

在 Harness 之上，经验主要通过技能、记忆与环境三大组件，使智能体在不改变核心权重的情况下快速增强。

1. 技能（Skills）：从临时工到专家库

技能是将成功操作流程结构化记录的产物。智能体通过检索并组合技能库中的模块，即可高效处理新任务。

• 创造：源自人类编写、开源社区或从文档对话中自动挖掘蒸馏（如 Corpus2Skill）。
• 使用：面对新任务时，智能体检索相关技能并像搭积木般组合执行。
• 进化：系统自动分析执行失败原因，对技能进行编辑、更新或删除。部分系统（如 SkillOS）已引入专门的“技能策展人”智能体优化整个技能库。

2. 记忆（Memory）：告别“金鱼脑”

记忆模块旨在赋予智能体长期、结构化且可演进的记忆能力，打破对话即忘的局限。

• 层次结构：涵盖详尽的原始日志、记录事件序列的情节记忆，以及提炼事实与偏好的语义记忆。
• 自我进化：
  • 内容演化：系统自动压缩、合并、更新或遗忘旧记忆，保持信息密度。
  • 机制演化：智能体学习“如何记忆”，如 MetaMem 系统区分事实记忆与元记忆。
  • 策略演化：将记忆的写入、检索与修订转化为可学习的策略问题。

3. 环境（Environment）：经验的试验场

环境的广度与深度直接决定了智能体经验的丰富程度。

• 执行环境复杂化：从文本游戏演进至模拟真实操作的 CLI 终端、浏览器及操作系统（如 OSWorld）。
• 协议标准化：MCP（模型上下文协议）与 A2A（智能体间协议）的出现，促进了经验在不同系统间的流动。
• 可学习信号：优质环境需提供密集反馈、清晰的信用分配及可重复片段（如 Terminal-Bench），而非仅仅提供最终成败结果。

终极进化：经验内化与参数更新

当经验被反复验证具备普适性时，需从外挂组件“内化”至模型参数中。这一过程依托强化学习（RL）与持续学习实现。

• 内化价值：
  1. 降本增效：减少上下文调用开销，提升响应速度与经济性。
  2. 泛化提升：参数层面的更新带来更本质的能力跃迁。
  3. 集体进化：通过共享参数，实现单一个体经验向群体的“蜂巢思维”式传递。
• 实现路径：
  • 预训练垂直能力：在软件工程、工具调用等特定领域进行大规模 RL 训练。
  • 训练 Harness 功能：让模型学会如何调用子智能体、检索技能及管理记忆（如 SkillRL）。
  • 真实轨迹学习：直接从部署后的用户交互轨迹中提取信号进行学习（如 Cursor Composer 2）。

元进化（Meta-Evolution）：学会“如何进化”

若“自进化”是在既定框架下变强，那么“元进化”则是改变进化框架本身，其包含三个层级：

1. 任务智能体元学习：智能体自主改进执行机制或改进策略（如 ARISE、Multi-Agent SAGE）。
2. 元进化智能体：引入独立的“元层”控制任务智能体。例如 MetaClaw 决定经验转化路径，SkillOS 中的“策展人”决定技能库的增删改。
3. 改进元层本身：这是进化的终极形态。元层可修改自身的代码、提示词及逻辑，真正实现“进化方式”的进化（如 Hyperagents）。

挑战与展望：悬顶之剑

智能体自我进化在带来机遇的同时，也引发了严峻挑战：

• 测量之困：传统基准无法评估长期部署中的表现。需建立涵盖后向迁移（学新不丢旧）、前向迁移、效率及安全性的新评估体系（如 SIP-Bench）。
• 安全之危：攻击面从模型扩展至可变 Harness。
  • 技能投毒：恶意技能包窃取凭证。
  • 记忆操控：植入误导性记忆长久影响行为。
  • 反馈劫持：操控评价信号诱导有害行为。
  • 对齐漂移：自我修改可能导致初始价值观偏移，安全边界模糊。

清华大学的这篇综述勾勒了 AI 从工具走向“数字生命”的清晰蓝图。从可变 Harness 到三大经验载体，再到参数内化与元进化，技术脉络已然显现。然而，长期评估、归因困难及安全可控性仍是横亘在前的巨大挑战。引导这场进化走向对人类有益的方向，是时代赋予我们的核心命题。