编者摘要：AgentEnv 是 Scale 开源、面向智能体强化学习的环境构建框架，核心理念先定义仿真世界，再在世界中承载任务，解决传统 RL 环境开发成本高、复用性差、智能体绑定的痛点。传统 RL 开发模式围绕任务构建仿真，环境难以跨任务复用；AgentEnv 将环境拆分为可版本化、可组合的构建块：仿真环境（Slack、邮件、桌面软件等）、数据工件 Artifact、世界规则（时钟、触发器），组件一次开发，全局复用。
框架强互操作性，做到智能体无关、基础设施无关。通过「环境卡片」与 A2A「智能体卡片」，依托 MCP/REST 开放协议，无需定制代码，同一任务可直接对接 Claude Code、OpenAI Agent、自研智能体等任意 Agent。沙箱可插拔，原生支持 Docker、Modal、E2B；云侧原生支持 AWS/GCP，本地开发环境可无缝迁移上云。
任务采用 DAG 编排，由细粒度可复用步骤组装，内置 48 种基础步骤，覆盖环境部署、数据加载、轨迹打分，大部分 RL 任务无需新增代码。既支持传统 RL 训练样本，也支持开放式探索类任务（如 3D 建模）。插件体系可扩展环境、沙箱、任务步骤，社区已有游戏仿真、手机真机操控等插件案例。
对比竞品：E2B/Firecracker 只提供隔离沙箱，缺少可组合仿真世界、任务 DAG 编排与标准化环境协议；LangGraph 等 Agent 编排框架聚焦智能体内部逻辑，不提供外部仿真世界；传统学术 RL 环境缺少云原生部署、跨 Agent 兼容与组件复用能力。AgentEnv 面向工程化规模化 RL，核心价值是让工程师、ML 研究员、领域专家并行协作，低成本构建可复现、可复用、可跨智能体运行的交互式仿真环境。
10 个关键问题 Q&A
- Q：AgentEnv 的核心设计哲学和绝大多数 RL 工具有什么根本区别？
A：常规工具是围绕任务搭建世界；AgentEnv 是先构建可复用的仿真世界，再在同一个世界上承载多个任务、多个智能体。 - Q：什么是 Environment Card（环境卡片）？
A：环境的标准化元数据清单，定义环境能力、可用工具、访问地址，存放于 /.well-known/agent-env.json，智能体可自动读取，实现免配置接入。 - Q：AgentEnv 如何实现 “任意智能体都能跑同一个任务”？
A：依靠环境卡片 + A2A 智能体卡片，基于 MCP/REST 开放协议配对，不需要为每个大模型 Agent 单独写适配代码。 - Q：AgentEnv 任务是怎么组织的？
A：任务由 DAG 有向无环图串联细粒度步骤组件；每个步骤可以独立复用，覆盖环境部署、数据加载、轨迹评估打分。 - Q：内置 48 种步骤能做什么？
A：覆盖环境部署、时钟控制、工件加载、任务执行、轨迹收集、结果校验打分；大部分 RL 任务直接使用，无需开发新代码。 - Q：沙箱支持哪些？能否新增自定义沙箱？
A：开箱支持本地 Docker、Modal 容器 / 虚拟机、E2B 虚拟机；支持插件注册自定义沙箱。 - Q：本地写好的仿真环境，可以直接放到 AWS/GCP 云上运行吗？
A：可以，基础设施无关。所有配置统一放在 config.toml，无需修改环境逻辑即可在本地 / 云切换。 - Q：AgentEnv 任务是否必须带奖励 / 打分器？
A：不是。两种模式：①带评分校验，用于 RL 训练与评估；②开放式任务，无自动打分，仅用于智能体实验探索。 - Q：什么是 Artifact 数据工件？
A：注入到仿真环境中的独立数据集。同一套 Slack/Email 底层环境，加载不同 Artifact，就能变成不同企业的虚拟办公场景。 - Q：AgentEnv 插件系统能扩展哪些能力？
A：新增仿真环境类型、自定义沙箱、自定义任务步骤；社区插件例子包含游戏仿真、云端真机手机操控等。
介绍 AgentEnv：用于构建强化学习环境的开源框架
作者：Edgar Arakelyan、Tejas Polakam、Yzabelle Go
智能体的能力上限，由它所处的 “世界” 决定；而搭建兼具真实性、准确性与可扩展性的仿真世界，是规模化强化学习（RL）最困难的一环。Scale 内部所有 RL 环境都基于 AgentEnv 构建。今天，我们正式将它开源。 官网：https://www.agentenvframework.com/・仓库：https://github.com/scaleapi/agentenv-framework
强化学习环境越来越难构建
规模化 RL 需要持续供给大量任务供模型练习，这些任务承载于RL 环境：对真实世界做仿真切片，内置工具、数据集，以及智能体完成任务、从中学习所需的评分 / 校验规则。
预训练可以依托海量公开与私有语料，但 RL 没有对应的现成数据集。RL 环境与配套任务大多需要从零开发；环境仿真保真度越高，开发成本呈线性增长。
RL 环境的设计搭建，需要多方紧密协作：搭建环境的工程师、设计任务与奖励函数的 ML 研究员、定义合格产出标准的领域专家。AgentEnv 原生采用模块化设计，让不同角色可以并行负责各自模块。
优质 RL 环境需要同时满足三重约束：
- 真实性（realistic）
智能体行为可以迁移，能够产生有效的学习信号 - 准确性（accurate）
奖励信号反映智能体真实行为，而非环境搭建带来的噪声 - 可扩展性（scalable）
支持多样化任务、目标与交互轨迹
基础构建块与互操作性
大多数智能体训练工具都是先定义任务，再围绕任务构建世界。AgentEnv 的设计理念恰恰相反：先定义世界，一套环境可以承载大量任务、供多个智能体使用。 AgentEnv 基于两大核心原则：
- 模块化构建块（Building blocks）
环境由可版本化、可组合的组件构成。例如 Slack/Gmail 这类环境、填充环境数据的工件（Artifact）、控制环境行为的规则（时钟、触发器、角色权限）。 - 互操作性（Interoperability）
环境不绑定任何运行主体。任意智能体、任意沙箱、任意云平台都可以接入；依靠开放协议通信，无需编写定制粘合代码。
动态、可组合的仿真环境
环境即构建块：在 AgentEnv 中，任何智能体可交互对象都可以成为环境：Slack、Gmail、客服工单系统、浏览器、Blender 这类桌面软件，甚至电子游戏。 每个环境都附带一份环境卡片（Environment Card），属于开放 AgentEnv 环境协议的一部分，相当于环境的清单：描述环境能力、提供哪些工具、访问方式。
图 1（示意）：环境卡片，人类可读版本（左侧）；智能体通过
/.well-known/agent-env.json自动读取（右侧）。智能体读取卡片后，通过 MCP 调用email_search等工具。
构建块自由拼接：把工单系统、邮件、客户档案环境组合，就能搭建完整客服仿真环境。会计师事务所、企业客户可以复用同一套底层 Slack/Email 仿真环境，只需加载各自独立的数据工件（Artifact），再按需叠加其他环境。Scale 就是这样搭建完整虚拟办公场景，同时联动十几个环境协同工作。
图 2：环境一次开发、一次测试，全局复用。仿真 Slack 一旦修复 Bug 或升级，所有复用它的上层环境全部受益。
面向互操作性设计
✅ 智能体无关（Agent Agnostic）环境卡片告诉智能体可用工具与接入方式，支持 MCP、REST、自动生成 CLI。 对应的，A2A 开放协议定义智能体卡片（Agent Card），由智能体向外声明自身能力。 任意环境卡片 + 任意智能体卡片配对，即可直接启动任务，无需额外定制适配。同一个任务，无需修改，即可在 Claude Code、OpenAI 智能体或自研 Agent 上运行。
图 3：同一套环境与任务，无需改动，即可对接任意智能体、任意沙箱。框架自带 4 种沙箱，也可自定义注册新沙箱。
✅ 基础设施无关（Infra Agnostic）在笔记本开发的环境，可以直接在本地或云上运行，无需修改代码。原生支持 AWS（S3、ECR、密钥管理器）、GCP（云存储、制品仓库、密钥管理），全部通过单一config.toml配置。后续会持续新增沙箱与云厂商支持。
沙箱本身也是可插拔组件：开箱支持 4 种沙箱（本地 Docker、Modal 容器、Modal 虚拟机、E2B 虚拟机），也可注册自定义沙箱。 Scale 内部默认使用 Modal 沙箱，承载全部环境、任务运行与评估。
一步步构建任意 AgentEnv 任务
既然我们可以用 AgentEnv 定义任意仿真世界，接下来就可以在其中定义任务。几乎所有真实世界目标、任务、工作流都能封装为 AgentEnv 任务。
任务（Task）由 DAG 有向无环图串联多个 AgentEnv 步骤构成。每一步代表一类原语操作：部署环境、加载数据、设置虚拟时钟、拉起智能体、下发任务、收集产出、按评分规则校验结果。
步骤组件和环境一样可以复用，AgentEnv 任务不限于传统 RL 训练样本。
-
案例 1：给智能体一份需求文档 + 搭载 Blender 的沙箱，让它创建并渲染 3D 场景；无需评分器，仅用于实验，不用自行管理底层基础设施。 -
案例 2：将智能体放入客服仿真环境，处理客户 Dana 的退款申请，自动评估交互轨迹与最终结果。
你开发的任意步骤组件，都可以跨任务复用。
图 4：客户退款任务、3D 建模任务业务完全不同，但底层都由同类 AgentEnv 步骤组装而成。
开箱即用能力
AgentEnv 内置48 种基础步骤类型，覆盖从部署环境、定义世界规则，到轨迹打分全流程。大部分 RL 任务仅依靠内置步骤就能搭建，无需新增代码；剩余场景可通过插件自定义步骤。
插件示例
插件支持扩展 AgentEnv 能力，并可开源共享：
-
agentenv-openciv-plugin：AI 智能体对战开源复刻版文明 3，游戏内公开发消息交互 -
agentenv-game-simulation：前沿模型互相 / 组队游玩扑克、卡坦岛、Minecraft -
agentenv-mobilerun：AI 智能体操控云端真实 iPhone，通过 MCP 读屏、点击、滑动、输入文字
立即上手
期待看到大家基于 AgentEnv 构建的项目！Bug 与需求请提交 GitHub issue；如果你开发了可复用的环境、沙箱或任务步骤，可以打包为插件开源分享。 官网：https://www.agentenvframework.com/・仓库：https://github.com/scaleapi/agentenv-framework/