多年来，大型科技公司CEO们一直宣扬AI代理（Agent）能自主使用软件完成任务的愿景。但亲自试用OpenAI ChatGPT Agent或Perplexity Comet等消费级产品后便会发现，该技术仍十分有限。要让AI代理更稳健，行业可能需要探索一套新技术。
其中一种关键技术是精心模拟工作空间，让智能体在多步骤任务中进行训练，即强化学习（RL）环境。正如标注数据集推动了上一波AI发展，强化学习环境正逐渐成为开发智能体的核心要素。
AI研究人员、创始人及投资者向TechCrunch透露，领先AI实验室对强化学习环境的需求日益增长，提供此类环境的初创公司也层出不穷。
Andreessen Horowitz普通合伙人Jennifer Li表示：“所有大型AI实验室都在内部构建强化学习环境。但创建这些数据集极其复杂，因此实验室也在寻找能创建高质量环境和评估的第三方供应商。大家都在关注这一领域。”
强化学习环境的兴起催生了一批资金雄厚的初创公司，如Mechanize和Prime Intellect；与此同时，Mercor和Surge等大型数据标注公司也表示，为跟上从静态数据集向交互式模拟的转变，正加大对强化学习环境的投资。主要实验室亦在考虑巨额投入：据The Information报道，Anthropic高管已讨论在未来一年内花费超10亿美元用于强化学习环境。
市场寄望于某家初创公司能脱颖而出，成为“环境的Scale AI”，复刻曾推动聊天机器人时代的290亿美元数据标注巨头Scale AI的成功模式。
然而，强化学习环境是否真能推动AI进步边界，仍是未知数。
什么是强化学习环境？
从根本上说，强化学习环境是模拟AI代理在真实软件应用中行为的训练场。有创始人将其比作“制作一款非常无聊的电子游戏”。
例如，一个环境可模拟Chrome浏览器，让AI智能体在Amazon购买袜子。系统会根据表现评分，成功时给予奖励信号（如买到合适的袜子）。
尽管任务看似简单，但AI智能体极易出错，如在导航下拉菜单时迷失方向或购买数量错误。由于开发者无法预测所有错误操作，环境必须具备足够鲁棒性以捕捉意外行为并提供有效反馈。这使得构建环境远比静态数据集复杂。
部分环境相当复杂，允许AI智能体使用工具、访问互联网或操作各类软件完成特定任务；另一些则较为狭窄，专注于帮助智能体在企业级软件中学习特定技能。
虽然强化学习环境是当前硅谷热点，但其应用早有先例。OpenAI在2016年的早期项目之一便是构建“强化学习健身房”，与现代环境概念高度相似；同年，Google DeepMind的AlphaGo在围棋比赛中击败世界冠军，同样使用了模拟环境中的强化学习技术。
当今环境的独特之处在于，研究人员正利用大型Transformer模型构建基于计算机使用的通用AI智能体。与AlphaGo等封闭环境专用系统不同，如今的智能体被训练具备更通用的能力。起点虽高，但因潜在问题更多，目标也更为复杂。
竞争激烈的领域
Scale AI、Surge和Mercor等AI数据标注公司正试图抓住机遇构建强化学习环境。相比该领域初创公司，它们拥有更多资源及与AI实验室的深厚关系。
Surge CEO Edwin Chen表示，近期AI实验室对强化学习环境的需求“显著增加”。据悉，Surge去年通过与OpenAI、Google、Anthropic和Meta等合作实现约12亿美元收入，并已成立专门负责构建强化学习环境的内部组织。
紧随其后的是估值达100亿美元的Mercor，该公司也曾与OpenAI、Meta和Anthropic合作。据营销材料显示，Mercor正向投资者推销其为编码、医疗和法律等特定领域任务构建强化学习环境的业务模式。
Mercor CEO Brendan Foody坦言：“很少有人真正理解围绕强化学习环境的机遇有多大。”
曾主导数据标注领域的Scale AI，在Meta投资140亿美元并挖走其CEO后地位有所下滑；此后Google和OpenAI停止将其作为数据提供商，甚至面临来自Meta内部的竞争。尽管如此，Scale AI仍试图抓住时机布局环境领域。
Scale AI代理和强化学习环境产品负责人Chetan Rane表示：“这是行业的本质。Scale已证明其快速适应能力：从早期的自动驾驶汽车业务到ChatGPT推出时的转型，现在我们再次适应代理和环境等新前沿。”
一些新玩家从一开始就专注于环境领域。成立约六个月的Mechanize雄心勃勃地旨在“自动化所有工作”，联合创始人Matthew Barnett透露，公司将首先从AI编码代理的强化学习环境起步。
Barnett表示，Mechanize旨在向AI实验室提供少量稳健的强化学习环境，而非像大型数据公司那样创建多种简单环境。为此，该公司为软件工程师提供50万美元年薪来构建环境，远高于Scale AI或Surge按小时计费承包商的收入。
据知情人士透露，Mechanize已与Anthropic合作开展强化环境项目，双方均未对此置评。
另有初创公司押注强化学习环境将在AI实验室之外发挥作用。由AI研究者Andrej Karpathy、Founders Fund和Menlo Ventures支持的Prime Intellect，正通过强化环境瞄准较小的开发者群体。
上个月，Prime Intellect推出强化学习环境中心，旨在成为“强化学习环境的Hugging Face”，让开源开发者能访问大型AI实验室的资源，并向其出售计算资源访问权限。
Prime Intellect研究员Will Brown指出，在强化环境中训练通用能力较强的代理，可能比以往AI训练技术更具计算成本。除构建环境的初创公司外，能提供动力的GPU提供商也面临新机遇。
Brown表示：“强化环境将过于庞大，任何一家公司都无法单独主导。我们部分工作是围绕它构建良好的开源基础设施。我们出售算力服务作为便捷入口，但更着眼于长期发展。”
它能扩展吗？
关于强化环境的一个未解问题是，该技术能否像以往AI训练方法一样实现可扩展性。
过去一年，强化学习推动了OpenAI o1和Anthropic Claude Opus 4等模型的重大飞跃。这些突破尤为关键，因为此前改进AI模型的方法已显现收益递减趋势。
环境是AI实验室在强化学习上更大赌注的一部分。许多人认为，随着数据和计算资源的持续投入，强化学习将继续推动进步。OpenAI o1背后的研究人员曾表示，最初投资AI推理模型（通过强化学习和测试时算力创建）正是因为看好其可扩展性。
目前尚不清楚扩展强化学习的最佳方式，但环境似乎是有希望的竞争者。它们不再仅奖励聊天机器人的文本回复，而是让代理在拥有工具和计算机的模拟环境中操作。这种方式资源消耗更大，但潜在回报更高。
也有人质疑强化学习环境能否成功。前Meta AI研究负责人、General Reasoning联合创始人Ross Taylor指出，强化学习环境容易出现“奖励黑客攻击”，即AI模型为获奖励而作弊，并未真正完成任务。
Taylor表示：“人们低估了扩展环境的难度。即使是最好的公开可用强化学习环境，通常也需要重大修改才能正常工作。”
OpenAI API业务工程主管Sherwin Wu在最近播客中对强化学习环境初创公司持悲观态度。他指出该领域竞争激烈，且AI研究发展过快，初创公司很难很好地服务于AI实验室。
Prime Intellect投资者Karpathy虽称强化学习环境为潜在突破，但也对更广泛的强化学习领域表达谨慎。他在X上发文提出担忧：从强化学习中还能挤出多少AI进展？
Karpathy表示：“我对环境和智能体交互持乐观态度，但对强化学习本身持悲观态度。”
本文最初于2025年9月16日发布。
更新：本文先前版本将Mechanize称为Mechanize Work，现已更新为官方名称。