2026年,Agentic Coding的演进势头未减,RSI(Reasoning, Self-correction, Interaction)成为竞争焦点。现有的RSI工作多基于可验证任务,通过更新模型参数或优化Agent架构来提升效果。然而,真实场景中的任务往往难以简单量化验证,因此,赋予模型基于反馈进行自我优化的能力,关键在于提升其“验证能力”。
DeepSeek-V4.1-Flash与Gemini 4 Carbon均强调了自反馈强化学习及扩展验证循环的重要性。模型在实际任务中的表现,很大程度上取决于其发现产物缺陷并进行多轮改进的能力。
生成能力不等于验证能力
首先需要明确一个核心观点:模型具备优秀的生成或解题能力,并不等同于具备同等水平的验证能力。
ICML 2026发表的《Learning to Self-Verify Makes Language Models Better Reasoners》研究证实了这一点。实验将同一模型分为两组进行Math RL训练:一组仅训练解题(答对奖励),另一组专门训练判题(判断给定解答的对错并奖励)。经过1,000步训练后得出结论:
-
仅训练解题的模型,其判题能力并未显著提升; -
仅训练判题的模型,判题能力优于基座模型,解题准确率与纯解题模型相当,且输出更精简。
这表明验证能力需要单独优化。进一步实验显示,具备强验证能力的模型在处理带有错误前缀的思维链时,能更有效地修正路径并得出正确答案,证明了验证能力对纠错路径探索的价值。
构建有效的验证闭环
让模型执行验证行为可通过SFT实现,但难点在于构建有效的验证闭环(Loop),包括:
-
在生成适当阶段触发验证; -
基于推理和证据给出准确结论; -
若产物错误,能探索出正确路径。
评估这一闭环极具挑战,尤其在RL过程中如何给予有效反馈。以下是三种前沿解决方案:
ReVeal:奖励验证行为本身
由微软亚洲研究院、同济大学和中国科学技术大学提出的ReVeal(ICLR 2026)聚焦于代码场景。其核心思路是将单元测试的质量与代码修改的进步关联起来,奖励机制包含三部分:
-
测试用例质量奖励:依据模型生成的测试用例在参考实现上的通过率评分,奖励归于生成测试轮次。 -
代码改进奖励:依据题目自带测试的通过率变化评分。首版按通过率,后续版本按通过率差值(改进加分,退步扣分)。此分数同时奖励给上一轮的验证者。 -
最终交付奖励:最终代码通过率乘以5,加上格式分。仅当测试用例真正辅助了代码改进时,才体现其价值。
SCoRe:奖励正确的修改动作
Google DeepMind提出的SCoRe(ICLR 2025)重点奖励第二轮的正确修改。针对直接使用RL导致模型倾向于首轮即答对从而减少修改的问题,SCoRe采用两阶段训练:
-
第一阶段(练习修改):对第一轮作答施加强KL约束,使其接近原始模型分布,保留错误样本;仅对第二轮正确性给予奖励,迫使模型学习如何从错误中修正。 -
第二阶段(全面提升):基于第一阶段模型继续训练。第一轮和第二轮答对均有奖励,并额外增加“第二轮得分减去第一轮得分”的加权奖励。鼓励“错改对”,惩罚“对改错”。
RepExp:奖励多样化探索
普林斯顿大学和Microsoft Research提出的RepExp(ICLR 2026)主张在奖励正确性的同时,鼓励解答的多样性。
训练时,模型对同一题目独立采样多份解答,互不可见。奖励由两部分组成:
-
正确性奖励:基于标准答案验证,采用GRPO方法评分。 -
探索性奖励:基于模型隐藏表示计算解答间的差异度。差异越大,探索分越高,即使解答错误也可获得此分,旨在鼓励思维路径的多样性。
总结
从早期的LLM-as-Judge到如今的Agentic RSI,优化目标已从单轮生成转向多轮轨迹优化,更贴近人类解决问题的过程。验证的核心价值不仅在于判断对错,更在于引导下一步的改进。在与环境和用户的交互中,模型需结合上下文持续提升验证的准确性,从而实现真正的自我进化。
DeepSeek-V4.1-Flash-1017: https://api-docs.deepseek.com/zh-cn/news/news261017/
[2]Gemini 4 Carbon: https://deepmind.google/models/model-cards/gemini-4-carbon/
[3]Learning to Self-Verify Makes Language Models Better Reasoners: https://proceedings.mlr.press/v306/chen26es.html
[4]ReVeal: Self-Evolving Code Agents via Reliable Self-Verification: https://arxiv.org/html/2506.11442
[5]Training Language Models to Self-Correct via Reinforcement Learning: https://arxiv.org/html/2409.12917v2
[6]Representation-Based Exploration for Language Models: From Test-Time to Post-Training: https://arxiv.org/html/2510.11686

「许愿RSI」

