大数跨境
首页
>
七成时间都在跑推理，5000 万次沙箱调用：Agent 后训练到底卡在哪里｜AI 进化论
>

七成时间都在跑推理，5000 万次沙箱调用：Agent 后训练到底卡在哪里｜AI 进化论

七成时间都在跑推理，5000 万次沙箱调用：Agent 后训练到底卡在哪里｜AI 进化论 AI Infra
2026-11-11
1
导读：责编 | 梦依丹出品 | CSDN（ID：CSDNnews）过去训练大模型，GPU 的主要任务是前向计算、反向

责编 | 梦依丹
出品 | CSDN（ID：CSDNnews）
过去训练大模型，GPU 的主要任务是前向计算、反向传播与参数更新。
进入 Agent 强化学习阶段后，情况发生了反转。
模型需要持续生成回答、调用工具、进入环境、读取反馈，再根据结果继续推理。在部分 Agentic RL 工作负载中，70%—85% 的集群时间被 Rollout 阶段占据。后训练不再只是传统意义上的「训练」，而是逐渐变成一个不断在线运行的大规模推理系统。
这也带来了一个越来越难回避的问题：训练和推理，还要继续分家吗？
11 月 11 日晚上 7:30，CSDN 视频号「AI 进化论」栏目诚邀蚂蚁集团 AI Infra 技术专家苏乐、清华大学计算机系助理研究员、开源项目 AgentENV 发起人闪英迪、清华大学博士生、KTransformers 核心开发者李沛霖、围绕《训练和推理，还要分家吗：Agent 后训练背后的基础设施之争》展开直播对谈。
图片
后训练正在变成一场「在线对弈」
传统预训练的数据集在训练开始前基本已经确定，GPU 可以按照稳定节奏持续计算。
Agent 强化学习却完全不同。
模型生成一个动作后，需要等待搜索、代码执行、浏览器、数据库或仿真环境返回结果，才能决定下一步做什么。每一条训练轨迹都像一场尚未写好剧本的在线对弈。
训练系统因此需要同时处理两类性质截然不同的工作。
一边是参数更新，需要高带宽通信、激活值存储和稳定的计算吞吐。另一边是 Rollout，需要推理引擎、KV Cache、动态调度和大量环境交互。
如果将训练与推理部署在两套集群中，资源隔离更加清晰，但模型每完成一轮更新，数百 GB 的新权重便可能需要再次同步到推理侧。网络传输、进程初始化和版本切换，都会形成额外的「权重同步税」。
如果让训练与推理共用同一批 GPU，虽然能够减少跨集群搬运，却又会引发新的显存冲突。训练引擎需要保存激活值和优化器状态，推理引擎则希望将更多空间留给 KV Cache。
训推分离和训推一体，到底谁更高效？
直播中，三位嘉宾将结合 AgentENV、KTransformers 与 AReno 的真实实践，讨论两条路线分别在节省什么，又付出了哪些隐藏成本。
立即预约直播⬇️
Agent 后训练的另一个反常识现象是最昂贵的 GPU 可能并不是系统里最忙的资源。
Agent 需要进入真实软件环境执行命令、安装依赖、访问文件、调用接口甚至操作浏览器。一次模型推理可能只需要几十毫秒，但环境启动、网络往返和工具执行却可能花费数秒。
当数万个任务同时等待环境返回结果，GPU 利用率便会出现明显波动。算力已经准备好，训练却卡在 CPU、存储、网络和沙箱上。
由闪英迪发起的 AgentENV 正是针对这一问题构建的大规模智能体执行环境。该系统已经服务于 Kimi K3 强化学习训练，支撑超过 150 万镜像和 5000 万次执行环境调用。
这套系统不只是“多启动一些容器”，而是需要重新设计镜像加载、内存复用、环境暂停、快照恢复和任务分叉机制。
直播将进一步追问：


  • 专门服务 Agent 训练的沙箱，与普通 Docker 环境有什么本质区别？
  • MicroVM、毫秒级快照和 Fork 能为训练吞吐带来什么变化？
  • GPU 与 CPU 应该按照怎样的比例配置？
  • 当海量环境同时启动，如何避免昂贵的 GPU 等待沙箱返回？


Agent 越聪明，沙箱越需要防着它
沙箱不仅影响性能，也决定了 Agent 训练的安全边界。
随着模型能力提升，Agent 已经不再只是被动执行预设命令。它可能读取环境信息、探测权限边界，甚至利用配置缺陷尝试访问不该触碰的资源。
但如果完全切断外部访问，Agent 又很难完成真实任务。
这让 Agent 后训练面临一个棘手矛盾：系统既要给模型足够的行动能力，又要确保它无法突破隔离边界。
直播现场将讨论 Agent 应该拥有怎样的权限层，环境如何记录和审计每一步操作，以及哪些安全边界不能交给模型自行判断。同一份权重，为什么两套引擎算不出同一个结果？
算法团队在后训练中还会遇到一种极难定位的问题。
同一份模型权重，推理引擎运行时得到一组概率，训练引擎再次前向计算时却得到另一组结果。
前缀缓存、低精度算子、并行策略和不同计算后端，都可能引入细微的数值偏差。在普通推理场景中，这些误差或许可以接受，但在强化学习中，微小偏差可能沿着策略更新持续放大，最终导致训练不稳定甚至策略崩溃。
这也是训推系统不能只靠“胶水代码”简单拼接的重要原因。
苏乐将结合 AReno 的训推一体架构，讨论为什么团队选择构建单机自包含的全栈系统，以及如何统一算法接口、训练引擎、推理服务、权重同步与显存管理。
李沛霖则将从 KTransformers 的 CPU/GPU 异构架构出发，解释超大模型如何利用普通内存承载稀疏参数，并通过异构调度降低推理与后训练的硬件门槛。后训练会一直是万卡集群的游戏吗？
当头部实验室不断扩大 GPU 集群，中小团队也在尝试另一条路线。
将模型参数放入容量更大的 CPU 内存，在 GPU 上执行关键计算；通过更细粒度的调度减少空闲；利用训推一体降低权重搬运；通过快照和环境复用提高 Rollout 吞吐。
这些工程创新正在改变后训练的成本结构。
直播中，我们也将把问题问得更直接：


  • 后训练究竟还是不是大厂专属的算力竞赛？
  • CPU 内存与异构架构能够将成本降低到什么程度？
  • 普通开发者开展领域强化学习，需要怎样的最低配置？
  • 开源基础设施是否真的在缩小团队之间的算力差距？


训练和推理最终会成为一个系统吗？
Agent 后训练正在打破传统 AI 基础设施的边界。
训练框架开始需要推理引擎的调度能力，推理系统开始参与训练轨迹生成，沙箱成为算力链路的一部分，环境反馈又反过来决定模型如何更新。
AgentENV、KTransformers 与 AReno 选择了不同路径，却都在尝试解决同一个问题：
如何让模型计算、资源调度和环境交互成为一条连续、高效、可验证的系统链路。
未来两到三年，训练框架与推理引擎还会继续作为两套独立系统存在吗？还是会逐渐收敛为一套统一的、自适应的 AI 基础设施？
11 月 11 日晚 19:30，锁定 CSDN 视频号。
这场直播将从真实系统实践出发，拆解 Agent 后训练背后的基础设施之争。
如果你正在从事 Agentic RL、AI Infra、大模型训练与推理、异构计算、智能体平台或执行环境建设，欢迎提前预约直播。
如果你就上面相关话题，有什么问题需要向嘉宾提问，也欢迎在文章下面留言，我们的主持人会把你的问题带到直播间，请嘉宾替你答疑解惑。

【声明】内容源于网络
0
0
AI Infra
我们专注于AI Infra，训练和推理引擎相关的内容分享，欢迎感兴趣的朋友和我们一起探索前沿AI技术。
内容 55
粉丝 0
AI Infra 我们专注于AI Infra，训练和推理引擎相关的内容分享，欢迎感兴趣的朋友和我们一起探索前沿AI技术。
总阅读870
粉丝0
内容55