2022年，Hunter Lightman加入OpenAI担任研究员后不久，便见证了ChatGPT的诞生——这是史上增长最快的产品之一。与此同时，Lightman正秘密带领团队致力于提升模型解决高中数学竞赛题的能力。
如今，这个被称为MathGen的团队被视为OpenAI在AI推理模型领域保持领先的关键力量，而推理模型正是实现类人任务执行AI智能体的核心技术。
“当时我们试图改善模型在数学推理上的短板，因为彼时它们在此方面表现欠佳，”Lightman向TechCrunch回顾了MathGen的早期工作。
尽管OpenAI的最新AI系统仍会产生幻觉，且在处理复杂任务时面临挑战，但其在数学推理方面的进步已十分显著。近期，OpenAI的一款模型在国际数学奥林匹克竞赛（IMO）中斩获金牌。公司相信，这种推理能力将迁移至其他学科，最终赋能其梦寐以求的通用型智能体。
ChatGPT虽是意外惊喜，但OpenAI的智能体产品却是多年刻意布局的成果。
“最终，你只需向计算机提出需求，它便能为你完成所有任务，”OpenAI CEO Sam Altman在2023年首届开发者大会上表示，“这些被称为‘智能体’的能力，将带来巨大益处。”
智能体能否实现Altman的愿景尚待观察，但2024年秋季o1推理模型的发布震惊了世界。不到一年，该突破背后的21名基础研究人员已成为硅谷最受追捧的人才。
Mark Zuckerberg招募了五名o1研究人员加入Meta超级智能新部门，提供超1亿美元薪酬包，其中Shengjia Zhao已被任命为Meta Superintelligence Labs首席科学家。
强化学习的复兴
OpenAI推理模型与智能体的崛起，离不开强化学习（RL）。RL通过在模拟环境中反馈选择正确性来训练AI模型。
RL应用已久，如2016年Google DeepMind利用RL打造的AlphaGo击败围棋世界冠军，引发全球关注。
约同期，OpenAI早期员工Andrej Karpathy开始探索用RL创建AI智能体，但公司耗时数年才掌握必要技术。
2018年，OpenAI推出首个GPT大语言模型，虽擅长文本处理并催生ChatGPT，但在基础数学上表现不佳。
直到2023年，OpenAI取得突破（最初称“Q*”，后为“Strawberry”），结合大语言模型、强化学习及“测试时计算”技术，赋予模型额外时间与算力进行规划验证。
这引入了“思维链”（CoT）方法，提升了模型在未见问题上的数学表现。
“我能看到模型开始推理，它会发现错误并回溯，甚至表现出沮丧，”研究员Ahmed El-Kishky说，“这让人感觉像在阅读人类思想。”
尽管单项技术不新，但OpenAI的独特组合创造了Strawberry，直接促成o1开发，并让公司意识到推理模型的规划核查能力可驱动AI智能体。
“我解决了困扰数年的问题，”Lightman表示，“这是我研究生涯最兴奋的时刻之一。”
扩展推理能力
通过推理模型，OpenAI找到了提升AI的两个新维度：后期训练投入更多算力，以及回答问题时给予更多时间和处理能力。
“OpenAI不仅关注现状，更关注事物如何规模化扩展，”Lightman指出。
据悉，2023年Strawberry突破后，Daniel Selsam领导组建了“Agents”团队以推进新范式。虽名为“Agents”，初期并未严格区分推理模型与智能体，旨在开发能完成复杂任务的AI系统。
最终，Selsam团队的工作融入o1开发项目，由联合创始人Ilya Sutskever、CRO Mark Chen及首席科学家Jakub Pachocki主导。
创建o1需抽调宝贵的人才与GPU资源。在OpenAI，展示突破性成果是获取资源的关键。
“OpenAI的研究是自下而上的，”Lightman说，“当我们展示了o1的证据，公司的反应是：‘这说得通，继续推进。’”
前员工表示，AGI使命是关键因素。专注最强模型而非产品，使OpenAI能将o1置于优先地位，这种大规模理念投资在竞争对手中并不常见。
这一决策极具远见。2024年底，多家实验室发现传统预训练收益递减，当前AI动力多来自推理模型进步。
AI “推理”意味着什么？
AI研究旨在重现人类智能。自o1发布以来，ChatGPT加入了“思考”和“推理”等拟人化功能。
El-Kishky从计算机科学角度谨慎回应：“我们在教模型高效消耗算力得出答案。若如此定义，它确实在推理。”
Lightman则更关注成果而非手段或与人脑的关系。
“模型处理困难任务时会进行必要的近似推理，”Lightman解释，“称之为推理是因为轨迹相似，但这只是制造强大实用AI工具的代理手段。”
尽管对“推理”定义存在分歧与批评，但研究者认为模型能力更重要。AI2研究员Nathan Lambert将其比作飞机：受自然启发但机制不同，不影响实用性。
来自OpenAI、Anthropic和Google DeepMind的研究人员达成共识：目前对推理模型理解尚不充分，断言内部机制为时过早。
下一个前沿：面向主观任务的AI智能体
当前AI智能体在编程等定义明确领域表现最佳。OpenAI Codex分担编码任务，Anthropic模型在Cursor等工具中广受欢迎且用户愿付费。
然而，ChatGPT智能体和Perplexity Comet在处理购物、找车位等复杂主观任务时仍力不从心，耗时且易犯低级错误。
作为早期系统，智能体必将改进，但首要任务是训练基础模型更好地处理主观任务。
Lightman指出：“像许多ML问题一样，这是数据问题。针对难验证任务的训练令人兴奋，我们已有线索。”
参与IMO模型和o1开发的Noam Brown透露，OpenAI拥有新的通用RL技术，能教授难以验证的技能，这正是IMO金牌模型的基础。
OpenAI IMO模型生成多个智能体同时探索思路并择优，该技术正日益流行，Google和xAI最新模型亦采用此法。
Brown认为：“模型在数学及其他推理领域将更有能力，进展速度惊人，看不到放缓理由。”
这些技术有望提升即将推出的GPT-5性能，确立竞争优势并为开发者消费者赋能。
此外，El-Kishky表示OpenAI致力于开发直观理解需求的智能体，无需特定设置即可自动判断工具调用与推理时长。
这描绘了ChatGPT的终极形态：一个能完成互联网任何任务并理解用户偏好的智能体。虽与现状迥异，但研究正朝此方向明确推进。
尽管OpenAI曾引领行业，如今面对强劲对手，关键问题已变为：它能否在Google、Anthropic、xAI或Meta之前率先实现智能体未来？