大数跨境

唐杰团队RSI新作:让Agent越改越强,执行成本反降26%!

唐杰团队RSI新作:让Agent越改越强,执行成本反降26%! 智猩猩AI
2026-10-22
1
导读:Agent越进化越烧钱的局面被打破了~
智猩猩AI整理
编辑:林夕

9月17日,智谱分享了一项进展:由GLM-5.3驱动的Infra Agent,参与搭建和优化GLM-5.3-Flash推理基础设施。


据智谱介绍,不到两周,系统端到端吞吐量提升至初始基线的3倍。



模型参与优化系统,系统再反过来支撑模型运行。围绕递归自我改进(RSI)的讨论,开始有了可以观察的工程过程。


如今,唐杰参与的一篇新论文,又将这个问题推进到了Agent的工作方式上。


让Agent回看自己的执行记录,找出失败和浪费,再自动修改运行框架。改完之后,继续执行、继续评估、继续迭代。


这次,团队还给自我改进加上了一项要求:能力提高的同时,执行成本也要降下来。


10月19日,清华大学、智谱、上海交通大学、华威大学与快手的研究者公布HarnessPro。



在使用GPT-5.5与Codex的三个基准上,其性能优先版本相比此前方法RHO,平均通过率提高2.0个百分点,平均单任务执行成本降低26.1%。


这篇论文关注的核心是:Agent能不能从过去的执行经验中,学会更有效地使用现有模型?


01

Agent复盘自己,

再动手改自己


HarnessPro首先让现有框架执行任务,收集工具调用、环境反馈、Token消耗等记录,再交给轨迹分析Agent检查。


它既要找出任务失败的原因,也要识别重复搜索、无效探索和冗余检查。


为减少偶然因素影响,分析时会结合同一任务的多次执行记录。


诊断结果随后交给规划Agent,分别生成偏向省钱、平衡成本与性能、优先提高性能的修改方案。


框架编辑Agent负责把计划落实成可运行的新版本。不同方案在独立工作区实现,并通过Git记录修改,方便追踪和回退。



这套流程修改的是Agent可复用的工作方式。


例如,执行中反复读取同一份材料,就检查信息复用机制;迟迟停不下探索,就调整预算和收尾规则。


通过评估留下的新框架,还会继续接受下一轮分析与修改。


02

每轮改进,

都要过测试与成本两道关


框架能够自动修改,还需要可靠的办法判断它有没有进步。


HarnessPro在进化过程中不使用标准解答和官方测试,而是让测试生成Agent根据任务描述及初始执行记录生成测试。


测试随后固定下来,所有候选使用同一套标准接受检查。


相比直接让大模型阅读记录、判断任务是否成功,生成测试将初步实验中的失败召回率从41.7%提高至83.3%,找出了更多被遗漏的错误。



筛选分两步进行:先淘汰验证表现低于初始框架的候选,再移除被其他方案全面超过的版本。


例如,一个版本费用更高,成功率还更低,就没有必要保留。


其余候选则根据性能与成本的差距加权选择,留下Lite、Medium、Heavy三种取向,进入下一轮改进。



这样,系统既保留冲击更高成绩的版本,也保留适合较低预算的版本,避免所有修改都朝着“增加计算换成功率”的方向走。


03

通过率提高,

执行成本降低26.1%


团队在Terminal-Bench 2、SWE-Bench Pro和ProgramBench上进行了评估。


使用GPT-5.5与Codex时,HarnessPro的Heavy版本相比RHO,三个基准的平均通过率提高2.0个百分点,平均单任务执行成本降低26.1%。


其中,Terminal-Bench 2的通过率从76.3%提高至80.8%,平均单任务费用从1.09美元降至0.72美元,减少33.9%。



Medium则展示了另一种取舍:在SWE-Bench Pro上,通过率为79.0%,接近RHO的80.0%,平均单任务费用却从2.68美元降至1.26美元,减少53.0%。


检查最终框架后,团队发现,改进主要涉及按任务分配推理强度和工具预算、提醒Agent适时结束探索,以及压缩重复日志和冗余指令。


这些修改让计算更多地用于必要分析与验证,也减少了执行中的重复消耗。



26.1%的降幅对应改进后框架执行任务的平均成本,比较对象是RHO,框架搜索与评估本身的投入需要另算。


HarnessPro给出的结果是:基础模型不变,Agent通过反复改进工作方式,仍能做得更好、花得更少。


END


关注+星标,获取AI前沿进展与开源一线动态

【声明】内容源于网络
0
0
智猩猩AI
智猩猩旗下AI技术内容账号,关注AI大模型掀起的范式革命,追踪AI大时代涌现的开源项目。
内容 2454
粉丝 0
智猩猩AI 智猩猩旗下AI技术内容账号,关注AI大模型掀起的范式革命,追踪AI大时代涌现的开源项目。
总阅读8.7k
粉丝0
内容2.5k