随着大模型参数规模不断增长，如何提高训练效率、降低算力成本，成为AI行业面临的重要问题。
最近，递归自我改进（RSI）技术发展迅速，AI已经能够自主优化算法、修改代码，甚至生成性能更高的GPU算子。
但要让AI直接优化一整套大模型训练系统，难度要高得多。
这是因为大模型训练涉及显存分配、算子执行、多GPU通信等多个环节，各项配置之间又相互影响。有时调整一个参数，可能无法提升训练速度，还会导致显存不足、编译失败，甚至影响模型训练的准确性。
针对这一难题，TokenRhythm、无问芯穹、北京大学、清华大学和上海交通大学的研究者们开源了InfraRSI，一套面向大模型训练基础设施的Agentic Harness。
InfraRSI将整个优化过程划分为初始化、环境诊断、优化搜索、结果报告和应用部署五个阶段。
通过这套Harness，AI Agent可以根据用户的开放式指令，在既定训练约束下自主调整配置参数、修改源代码，并通过实际运行验证优化效果。
实验结果显示，InfraRSI在四项大模型训练任务中实现了平均1.83倍、最高2.75倍的加速效果，将平均模型浮点运算利用率从17.4%提升至30.0%，整体表现超过Auto-Research、RE-Bench和OptiCo。
论文标题：
InfraRSI: Harnessing Recursive Self-Improvement for Training Infrastructure
arxiv id：2611.11558
github：TokenRhythm/InfraRSI
01
五阶段工作流程：
从任务定义到优化部署
如下图所示，InfraRSI将整个优化过程划分为五个阶段。
图1：InfraRSI 方法概览
（1）初始化
确定允许修改的代码范围，并锁定模型结构、训练数据、工作负载和优化器更新规则等任务约束，防止Agent通过减少训练工作量获得虚假的性能提升。
（2）环境诊断
运行原始训练配置，测量前向传播、反向传播、优化器更新及通信等阶段的耗时，同时评估集群运行噪声，为后续性能比较建立基准。
（3）优化搜索
利用历史经验、性能预测模型和大模型生成的代码补丁，联合搜索训练配置与代码实现，并根据实际运行结果更新搜索策略。
（4）结果报告
汇总优化效果、资源消耗及验证结果，检查代码修改是否符合任务约束。
（5）应用部署
将通过验证的配置和代码补丁应用到目标训练项目。
如下表所示，InfraRSI在整个过程中还设置了五层、16项验证规则，覆盖执行、工作负载、更新调度、数值精度及计时一致性。候选方案必须符合预先设定的约束，最终加速效果也需要通过独立的基准对照重测确认。
表注：五层、16项确定性不变量验证器与离线复核台账
02
多起点搜索：避免陷入局部最优
传统的贪心式搜索方法通常从单一配置出发，逐步调整参数。一旦某项优化触发显存溢出（OOM）或编译冲突，搜索就可能陷入停滞。
为解决这一问题，InfraRSI在优化搜索阶段采用多起点初始化策略，首先测试三类完整配置：从历史经验中选取最相似环境下经过验证的最优配置、大模型预测的高收益配置，以及符合约束的随机配置。
在搜索过程中，系统还会根据所有已完成试验的结果，持续更新两个全局预测模型。
其中，Cholesky贝叶斯线性模型负责预测不同配置和代码修改带来的训练加速效果；右删失Tobit显存模型则用于估计候选方案的显存需求。
与只记录成功结果的方法不同，Tobit模型还会利用OOM失败时的显存缺口更新预测，从而识别哪些设置消耗显存、哪些设置能够释放显存。
03
动态修正大模型预测，
自动组合优化方案
论文发现，大模型直接预测的配置加速收益与实际硬件测量结果存在明显偏差，Spearman相关系数处于 [−0.49, −0.06]。
为此，InfraRSI引入经验贝叶斯校准，通过实际运行结果不断修正模型的性能先验。即使大模型认为某项配置收益很低，只要预测不确定性较高，系统仍可能主动测试。
与此同时，InfraRSI通过失败归因区分显存不足、配置冲突、代码补丁错误等问题。只排除已确认不兼容的配置组合，而非直接禁用所有涉及的参数。
当连续两次完整测试没有获得有效提升时，系统还会扩大高影响参数的搜索范围，尝试同时修改多个关键配置，跳出局部最优。
对于已经验证有效的代码补丁，InfraRSI支持叠加测试，让多个小幅性能改进形成更大的综合收益。
04
跨硬件经验迁移：
实现第二级RSI
InfraRSI不仅在单次搜索中学习，还会将验证成功的优化结果写入经验库。
经验记录包含硬件架构、GPU拓扑、模型规模、训练配置、实测速度、显存占用及失败原因等信息，并将不同训练框架中的配置映射为71种标准化优化机制。
在新任务中，系统根据硬件和工作负载相似度检索历史经验，用于初始化配置、速度预测和显存模型。
由于H20、H100、H200等GPU的计算与带宽特性不同，同一优化策略的收益可能发生变化，因此InfraRSI不会直接复制历史配置，主要通过兼容性筛选和新环境实测完成迁移。
由此形成两级RSI循环：在单次任务中利用反馈修正搜索策略，在不同任务和硬件之间积累可复用的优化经验。
05
四种训练任务最高加速2.75倍
研究团队选择四种大模型训练任务，覆盖Dense和MoE模型。在单节点8卡及双节点16卡环境中评估InfraRSI，并与Auto-Research、RE-Bench和仅优化配置参数的OptiCo进行比较。
所有方法均采用相同的任务约束，同时记录搜索过程中成功和失败的运行成本。
在整体表现上，InfraRSI实现1.83倍几何平均加速，明显超过RE-Bench的1.37倍、Auto-Research的1.34倍和OptiCo的1.23倍。
其中，Gemma-4-26B-A4B MoE的提升最为突出。该任务中，单独关闭激活重计算会造成约18GiB显存缺口，而默认Liger算子配置又与编译优化存在冲突。
InfraRSI通过显存模型识别出关闭Liger能够释放约14GiB显存，并联合调整激活重计算、torch.compile及FlexAttention代码实现，最终实现2.75倍加速。
表注：四种Dense和MoE模型训练任务的端到端训练加速比及模型浮点运算利用率（MFU，以每块GPU 989.5 TFLOP/s的非稀疏BF16峰值算力为基准计算的百分比）。
图2：图 4 | InfraRSI 在 Qwen3.5-9B（8×H100）上的跨硬件经验迁移轨迹。
论文进一步在Qwen3.5-9B、8×H100环境中比较三种经验使用方式。
结果显示，该方案在第9次试验、消耗2.97 GPU小时后达到预设收敛阈值，并将最终加速比提升至1.82倍。
相比之下，冷启动和使用全部合格经验的方案均未在搜索预算内达到该阈值。
表注：InfraRSI 在 Qwen3.5-9B（8×H100）上的跨硬件经验迁移实验。
END
关注+星标，获取AI前沿进展与开源一线动态