大多数自进化方案在做同一件事：把错误记下来，下次推理时翻出来用。MetaEvo 换了一个问题：能不能不优化"记住什么"，而是优化"怎么从经验里学"？

记经验和会学习是两回事

LLM智能体跑完一个任务，发现错了。现有经验驱动方案走的路径基本一致：把错误提炼成一条原则（principle），存进记忆库，下次遇到类似任务翻出来当提示词。

这条路不算错。原则确实能帮模型纠正行为。但有一个问题藏得比较深：模型从头到尾是个被动执行者。 怎么提炼原则，这个过程模型不参与优化。提炼逻辑是固定的prompt模板，质量完全看模板写得好不好。提炼出来的原则往往太泛、太模糊，落不到具体问题上。

结果就是第一轮迭代之后性能很快碰到天花板。 记了一堆没什么用的原则，记忆库膨胀，检索噪声增大。

北京理工大学的研究团队在MetaEvo论文里把方向拧了一下。他们问的不是"怎么让模型记住更好的经验"，而是"怎么让模型学会更好地从经验里学习"。这两件事的差别，就是元优化和普通优化的差别。

图1 METAEVO框架流程示意图

先练"怎么学"，再积累经验

普通经验驱动方案是一条直线：模型输出，套模板提炼原则，存起来，下次用。模型从头到尾是固定的。 提炼原则的能力不会变好。

MetaEvo把这条直线掰成了两段。前面的那段是元优化，后面的那段是原则积累。 顺序不能反：先让模型变强，再让变强的模型去跑迭代。

图2 METAEVO架构示意图

元优化：不练答题，练"从错误里学"

具体怎么做？拿一批训练数据，每条包括问题、模型自己的答案、以及正确答案。然后提炼两次原则：基础模型提炼一个比较弱的版本 p⁻，更强模型（DeepSeek-R1）提炼一个高质量版本 p⁺。同一道题、同一个错误，两个模型给出的修正方案有优劣之分，这就构成了一对偏好数据。

用DPO来训练。DPO的精髓在于，它不告诉模型"你要输出什么"，而是告诉模型"这两个方案哪个更好"。训练完之后，模型在未经元优化的模型面前有一个硬优势：同样面对一个错误，它能给出更具体、更能落地的修正方案，而不是"下次注意仔细读题"。

这个设计的核心价值在于：它训练的是一层可迁移的抽象能力。 不管后面面对什么任务、什么领域的错误，模型都更擅长从失败中提取真正有用的教训。

原则积累：把学会了的东西用起来

元优化结束之后，把训练好的模型放进一个模块化智能体系统，开始跑迭代进化。每轮迭代做三件事：用Plan模块从错误里提炼原则，存进Memory模块，下次推理时Execution模块取出来引导生成。

Plan模块提炼原则的方式叫CDA（Contrast-Driven Abstraction）。核心思路很朴素：没有对比就找不到真正的差距。 直接让模型凭空写一条原则，它大概率写出一句正确的废话。CDA的做法是做一步差异分析：把模型答案和正确答案放在一起，逐条对比。每条差异写清楚四个要素：对比了哪个方面、正确答案怎么做、模型答案怎么做、差在哪为什么算差。然后再把这串结构化差异扔给模型，让它从中抽象原则。

这层对比的意义在于，模型不再对着一个模糊的"答错了"写方案。它面对的是一张精确的差距清单，每一条都指向一个可修复的错误模式。原则从"要更仔细"变成了"计算百分比增长时，先确认基数是什么"。

Memory模块管存储，但它不做无脑append。每条新原则进来，要跟库里已有的做三轮比对。语义重复的，直接用新版本换掉旧的，避免冗余堆积。跟已有原则冲突的，两条都留着，下一轮实践验证，哪个管用留哪个。既不重复也不冲突的新原则，直接入库。这套curation把记忆库维持在一个紧凑、一致、高质量的状态，迭代轮次越多，积累越有价值，而不是越膨胀越吵。

Execution模块管推理时的检索和应用。新问题进来，先让模型生成任务的语义描述作为检索key，在记忆库里做语义匹配，取出最相关任务对应的那组原则，贴在上下文里引导生成。整个链路跑通之后，每轮迭代自动进行：生成、犯错、提炼、入库、检索、引导、再生成。

实验

两个底座模型，LLaMA 3.1-8B和Qwen 2.5-14B，横跨五类推理基准：GSM8K、SVAMP、MATH、MMLU、BBH。

全部正向。 LLaMA 3.1-8B从平均 71.2% 拉到 78.7%，Qwen 2.5-14B 从 81.5% 拉到 85.5%。跑赢了一众自进化基线（Self-Refine、Self-ICL、SE-GPT、Self-Discover）。

消融实验把设计选择的权重拆得很清楚：

去掉元优化（w/o MO），模型直接做原则积累。GSM8K从 94.1% 掉到 88.3%。没经过元优化的模型，提炼的原则太泛，任务针对性差。

去掉CDA（w/o CDA），用简单prompt直接生成原则，不做差异分析。GSM8K从 94.1% 掉到 87.7%，SVAMP从 93.8% 掉到 81.3%。CDA是原则质量的保证。

还有一个直观对照：随机塞无关原则给模型，GSM8K从基础模型的 88.3% 掉到 69.4%。坏的指导不如没指导。

迭代进化上，MetaEvo跑三轮，性能单调上升，没有早期平台化。 对比的SE-GPT和Self-Refine第一轮之后就开始走平甚至下跌。BBH的两个任务（Logical Deduction和Tracking Shuffled Objects），MetaEvo三轮之后各自涨了 9.6pp。

论文里还藏了一个发现：经过元优化的模型，即使不查记忆库、不用以前的经验，纯靠推理也比基础模型强。 GSM8K上元优化后直接推理就从 84.5% 涨到 86.7%，SVAMP从 88.2% 涨到 90.5%。DPO训练原则抽象能力的过程中，模型顺便学到了更好的推理习惯。

几个问题

外部强模型是硬成本。 元优化用DeepSeek-R1生成高质量偏好原则。外部模型越强，偏好数据越好，元优化效果越好。但成本也越高。元优化的上限部分挂在外部模型能力上。

记忆累积的规模瓶颈还没测。 论文实验跑了三轮迭代，原则数量增长可控。如果跑几十轮，curation机制的效率会不会下来？冲突检测的复杂度随记忆库线性涨，长维护成本需要更多实验验证。

跨模型泛化不知道。 论文在同一个底座模型上做元优化和原则积累。用LLaMA优化的原则搬给Qwen用管不管用，目前的实验设计回答不了。

最后

MetaEvo不是往prompt里塞更多经验。它回到一个更底层的问题：智能体自己会不会学习。

会学和不会学的分界线很清楚：每轮迭代都在变好，还是第一轮就见顶。

论文的答案是：先教模型怎么提炼经验，再让它去积累经验。 教的这个过程，就是元优化的价值所在。

PS：

最后，做个小小的推荐，目前正在进行的两个项目：

• Agent Insight：openEuler孵化的项目，旨在让每一个Agent 都可被观测、可被评估、可自我进化。

• Skill Radar：给Agent Skills技术画一张”活地图”，追踪Skills技术，让Agent能力进化有迹可循。

如果你对Agent Insight感兴趣，欢迎参与进来，一起把它变得更好~~

🔗 仓库地址：https://atomgit.com/openeuler/agent-insight

更多Agentic AI技术前沿分享，欢迎扫描下方二维码进入技术交流群（或者添加群助手ID：qstarsky 邀请您进群交流）

Agentic AI

立即扫码

往期回顾

相关链接

• • 论文：https://arxiv.org/pdf/2606.07603
• • Agent Insight：https://atomgit.com/openeuler/agent-insight