大数跨境

一行命令启动Agent自进化实验,人大开源FlashRSI让12种方法同台跑分!

一行命令启动Agent自进化实验,人大开源FlashRSI让12种方法同台跑分! 智猩猩AI
2026-11-16
0
导读:Agent做错题后,能自己改技能~
智猩猩AI整理
编辑:林夕

一个 Agent 做错了题,可以重试一次。但下次遇到同类问题,它还会踩同一个坑吗?


中国人民大学高瓴人工智能学院 NLPIR 团队开源的 FlashRSI,把这件事做成了可以复跑的实验。



Agent 先做题,优化端根据执行记录提出修改,再让新版 Agent 跑一批题。


改了哪段提示词、哪项技能,改完之后表现如何,都可以回头查。


11 月 9 日和 10 日,团队先后公开了 SearchQA 和 HotpotQA 的实验记录,覆盖 MiniAgent、Claude Code 两套 Harness 和 12 种自我改进方法。


项目网站上,研究者可以逐轮查看候选版本改了什么、最后选中了哪一版。


01

一行命令,

启动了什么?


FlashRSI 的官方示例,配置好环境和模型接口之后,一行命令就能启动。


flashrsi run --config examples/quickstart.yaml


这条命令读取一份实验配置,里面写好了用什么算法、改哪个 Agent、用什么任务来验证。


快速入门选的是 SkillOpt、MiniAgent 和 SearchQA,共 12 道题,6 道用于训练、3 道用于验证、3 道用于测试。 


实验里有两个角色。


Target 负责做题,Worker 负责看反馈、提修改。 



两者可以分别配置模型。研究者可以固定做题用的模型,把变量留给 Agent 的提示词、技能和工具等资源,看看改动前后,同一个模型的表现有何变化。 


FlashRSI 给资源文件打上标签,再由算法声明自己能看、能改哪些类别。


比如,以技能为优化对象的算法,可以改技能文件,再把它放回完整的 Harness 里评测。




02

做题、改技能、再做题,

Agent 怎么从失败里学?



以 SkillOpt 为例,MiniAgent 先跑一批 SearchQA 问题,留下答案和执行轨迹。


Worker 根据这些反馈提出技能更新,后续任务就能使用更新后的技能文件。 


举个例子,一道题要求先确定某个人是谁,再查证他的任职经历。


如果 Agent 搜到第一个名字就急着作答,优化端可以提出一条检索规则:


先用题目给出的线索确认人物,再单独查证任职信息。把这条规则写进技能文件,下一次碰到类似的问题,Agent 就有机会用上它。


改完以后,要看这条规则能不能在别的题上奏效。


训练题的执行轨迹用来找问题,验证题用来看候选版本的表现,测试题用来检查选中版本在未参与选版的题目上能拿多少分。


这样,研究者就能区分一次改动修好了眼前这道题,还是对同类任务也有帮助。 


换一种算法,能改的地方也会变。


  • GEPA 可以参考得分和执行轨迹,提出新的指令版本。


  • SkillOpt 把修改落在可复用的技能上。


  • Meta-Harness 则把搜索范围扩展到 Harness 代码,让负责修改的 Agent 参考历史版本的代码、得分和执行记录,再提出新的候选方案。 


一轮实验可能留下多个候选版本。有的版本在一批题上拿分更高,换一批题却会掉分。只看最终得分,很难知道中间发生了什么。


FlashRSI 为每个候选版本保存一份 Snapshot(快照),记录这个版本有哪些资源文件。


评测时,框架会恢复完整的候选版本,交给对应的 Harness 执行,并留下运行轨迹、得分和资源用量。


实验结束后,中间版本也可以单独拿出来,在另一个基准上重测。


这也是项目公开实验记录的意义。


在实验浏览器里,可以先看某一轮生成了哪些候选版本,再打开文件差异,查看哪些指令或技能描述被改过,最后回到评测记录,看这个版本跑出了怎样的结果、有没有被选中。 


03

13种自我改进方法,

放到同一套框架里怎么比?


截至 11 月 16 日,FlashRSI 的 GitHub 主页列出 13 种 RSI 方法、30 个评测基准和 7 套 Harness 适配。



FlashRSI 项目页公开了 12 种自我改进方法在 Claude Code 和 MiniAgent 上的对照结果。


以 SkillOpt 为例,用它优化 MiniAgent 后,SearchQA 得分达到 82.93%,较初始版本提高 6.50 个百分点。



到了 AppWorld,得分达到 91.67%,提高 26.19 个百分点。

 

但在 Terminal-Bench 2.0 上,SkillOpt 优化后的 MiniAgent 得分为 66.67%,与初始版本持平。


换成 Claude Code,同一种算法却把得分从 63.33% 提高到 70.00%。



同样的任务、同样的优化算法,换一套 Harness,结果就有了差别。 


如果把优化范围从技能文件扩大到整个 Harness,表现还能提升多少?


11 月初公开的 HarnessFlow 论文固定底座模型和任务环境,在每个基准上用 15 次修改尝试搜索更好的 Harness。



据论文报告,优化版本在六个基准上的平均得分达到 69.48%,较初始版本提高 10.89 个百分点。



当改 Harness 也能带来这样的分数变化,能否复跑实验、核对修改,就变得和看最终分数一样重要。


一行命令把实验跑起来之后,真正值得盯的是最后那批没参与选版的题。


同一个 Agent,改过一条技能或一段指令,换道题还能做得更好吗? 有了保存下来的版本和执行轨迹,这个问题可以拿回去再跑一次。


END


关注+星标,获取AI前沿进展与开源一线动态

【声明】内容源于网络
0
0
智猩猩AI
智猩猩旗下AI技术内容账号,关注AI大模型掀起的范式革命,追踪AI大时代涌现的开源项目。
内容 2535
粉丝 0
智猩猩AI 智猩猩旗下AI技术内容账号,关注AI大模型掀起的范式革命,追踪AI大时代涌现的开源项目。
总阅读15.5k
粉丝0
内容2.5k