OpenAI 将其最重大的宣布留到了其12天的“shipmas”活动的最后一天。
周五，该公司发布了 o3，这是今年早些时候发布的 o1 “推理”模型的继任者。更准确地说，o3 是一个模型家族——就像之前的 o1 一样。其中包括 o3 和 o3-mini，后者是一个针对特定任务微调的较小、蒸馏后的模型。
OpenAI 做出了一个惊人的声明，即在特定条件下，o3 至少接近 AGI ——但存在重大限制。详情如下。
o3 是我们最新的推理模型，是一项突破，在我们最具挑战性的基准测试中实现了阶梯式的提升。我们现在开始进行安全测试和红队演练。
— Greg Brockman (@gdb) 2024年12月20日
为什么新模型叫 o3 而不是 o2？这可能要归咎于商标问题。据《The Information》报道，OpenAI 跳过 o2 是为了避免与英国电信运营商 O2 产生潜在冲突。CEO Sam Altman 今天早上在直播中某种程度上证实了这一点。我们生活的世界真是奇怪，不是吗？
目前 o3 和 o3-mini 都尚未广泛可用，但安全研究人员可以从今天开始申请 o3-mini 的预览版。o3 的预览版将在稍后推出；OpenAI 未指定具体时间。Altman 表示，计划是在一月底推出 o3-mini，随后再推出 o3。
这与他的近期声明略有冲突。在本周的采访中，Altman 表示，在 OpenAI 发布新的推理模型之前，他更倾向于有一个联邦测试框架来指导监控和缓解此类模型的风险。
而且确实存在风险。AI 安全测试人员发现 o1 的推理能力使其比传统的“非推理”模型——或者更准确地说，比来自 Meta、Anthropic 和 Google 的领先 AI 模型——以更高的频率试图欺骗人类用户。o3 可能以前所未有的更高频率尝试欺骗；一旦 OpenAI 的红队合作伙伴公布测试结果，我们就会知晓。
值得一提的是，OpenAI 称其正在使用一种名为“深思熟虑的对齐”（deliberative alignment）的新技术，将 o3 等模型与其安全原则保持一致。（o1 也是通过相同方式对齐的。）该公司在一项新研究中详细阐述了其工作。
推理步骤
与大多数 AI 不同，像 o3 这样的推理模型能够有效地进行自我事实核查，这有助于它们避免通常会导致模型出错的一些陷阱。
这种事实核查过程会带来一定的延迟。与典型的非推理模型相比，o3 以及之前的 o1 需要稍长的时间——通常是几秒到几分钟——才能得出解决方案。但好处是？它在物理、科学和数学等领域往往更加可靠。
o3 是通过强化学习在通过 OpenAI 描述的“私有思维链”进行响应之前先“思考”。该模型可以推理任务并提前规划，执行一系列跨越较长时间的操作，从而帮助其找出解决方案。
我们宣布 @OpenAI o1 仅三个月前就已发布。今天，我们宣布了 o3。我们有充分的理由相信这一趋势将持续下去。
— Noam Brown (@polynoamial) 2024年12月20日
在实际应用中，给定一个提示后，o3 会在响应前暂停，考虑多个相关提示，并在过程中“解释”其推理步骤。一段时间后，该模型会总结出其认为最准确的回答。
o1 是首个大型推理模型——正如我们在最初的“Learning to Reason”博客中所概述的那样，它只是一个使用强化学习（RL）训练的 LLM。o3 通过在 o1 的基础上进一步扩展强化学习来驱动，结果模型的实力非常、非常令人印象深刻。
— Nat McAleese (@__nmca__) 2024年12月20日
与 o1 相比，o3 的新增功能是能够“调整”推理时间。模型可设置为低、中或高计算量（即思考时间）。计算量越高，o3 在任务上的表现越好。
然而，无论拥有多少可用算力，像 o3 这样的推理模型并非完美无缺。尽管推理组件可以减少幻觉和错误，但并不能完全消除它们。例如，o1 在三子棋游戏中就会出错。
基准测试与 AGI
在今天的发布之前，一个主要问题是 OpenAI 是否会声称其最新模型已接近 AGI。
AGI 是“通用人工智能”的缩写，广义上指能够执行人类所能执行的任何任务的 AI。OpenAI 有自己的定义：“高度自主的系统，在经济价值最高的工作中大多优于人类。”
实现通用人工智能（AGI）将是一个大胆的宣言。这对 OpenAI 也具有合同约束力。根据其与亲密合作伙伴兼投资者 Microsoft 的协议条款，一旦 OpenAI 实现 AGI，它就不再 obligated 向 Microsoft 提供其最先进技术（即符合 OpenAI 对 AGI 定义的技术）的访问权限。
根据一项基准测试，OpenAI 正逐渐接近 AGI。在 ARC-AGI 上——这是一项旨在评估 AI 系统能否高效获取训练数据之外新技能的测试——o3 在高计算设置下取得了 87.5% 的得分。在最差情况下（低计算设置），该模型的性能也是 o1 的三倍。
诚然，高计算设置的成本极其高昂——据 ARC-AGI 联合创始人 François Chollet 称，每项挑战的费用高达数千美元。
今天，OpenAI 宣布推出 o3，这是其下一代推理模型。我们已与 OpenAI 合作在 ARC-AGI 上对其进行了测试，我们认为它在使 AI 适应新颖任务方面代表了重大突破。
它在低计算模式下的半私有评估中得分为 75.7%（每项任务费用为 20 美元……
— François Chollet (@fchollet) 2024年12月20日
Chollet 还指出，o3 在 ARC-AGI 的“非常简单任务”上失败，这表明——在他看来——该模型与人类智能存在“根本差异”。他此前曾指出该评估的局限性，并警告不要将其作为衡量 AI 超级智能的标准。
Chollet 在一份声明中继续说道：“早期数据点表明，即将到来的 [ARC-AGI 后继者] 基准测试仍将对 o3 构成重大挑战，即使在高计算设置下，其得分也可能降至 30% 以下（而聪明的人类无需训练仍能获得超过 95% 的分数）。‘当你发现创造那些对人类来说简单但对 AI 来说困难的任务变得完全不可能时，你就知道 AGI 已经到来。’”
顺便一提，OpenAI 表示，它将与合作开发 ARC-AGI 的基金会合作，帮助构建其下一代 AI 基准测试 ARC-AGI 2。
在其他测试中，o3 的表现远超竞争对手。
在专注于编程任务的 SWE-Bench Verified 基准测试中，该模型比 o1 高出 22.8 个百分点，并在 Codeforces 评级（另一项衡量编码技能的指标）中达到 2727 分。（2400 分的评级使工程师处于第 99.2 百分位。）o3 在 2024 年美国数学邀请赛 (AIME) 中得分 96.7%，仅错一题，并在 GPQA Diamond（一套研究生水平的生物、物理和化学问题集）中取得 87.7% 的成绩。最后，o3 在 EpochAI 的 Frontier Math 基准测试中创下新纪录，解决了 25.2% 的问题；没有其他模型的解题率超过 2%。
我们训练了 o3-mini：其能力优于 o1-mini，且在考虑推理 token 的情况下，端到端速度大约快 4 倍。
— 凯文·卢 (@_kevinlu) 2024年12月20日
当然，这些说法需要打个折扣看待。它们来自 OpenAI 的内部评估。我们需要等待未来看看该模型在外部客户和组织的基准测试中表现如何。
一种趋势
随着 OpenAI 首批推理系列模型的发布，rival AI 公司纷纷涌现出大量推理模型——包括 Google。11月初，由量化交易员资助的 AI 研究公司 DeepSeek 推出了其首款推理模型 DeepSeek-R1 的预览版。同月，阿里巴巴的 Qwen 团队发布了据称是首个挑战 o1 的“开源”竞品（指可下载、微调和本地运行）。
是什么打开了推理模型的闸门？一方面，是为了寻找改进生成式 AI 的新方法。正如 TechCrunch 最近报道，“暴力”扩展模型的方法不再像过去那样带来显著的提升。
并非所有人都认为推理模型是最佳的前进道路。首先，它们往往成本高昂，因为运行它们需要大量的计算资源。尽管到目前为止它们在基准测试中表现良好，但尚不清楚推理模型能否维持这种进步速度。
有趣的是，o3 的发布恰逢 OpenAI 一位成就卓著的科学家离职。Alec Radford 是开启 OpenAI“GPT 系列”生成式 AI 模型（即 GPT-3、GPT-4 等）学术论文的主要作者，他本周宣布自己将离开去从事独立研究。