OpenAI 于周四发布了一项名为 GDPval 的新基准测试,旨在评估其 AI 模型在各行各业中与人类专业人士的表现对比。作为早期尝试,该测试意在衡量 OpenAI 系统在具有经济价值的劳动中接近或超越人类水平的程度,这也是该公司开发通用人工智能(AGI)使命的关键组成部分。
OpenAI 表示,其 GPT-5 模型和 Anthropic 的 Claude Opus 4.1 “已经接近行业专家的工作质量。”
这并不意味着 AI 模型会立即取代人类工作。尽管部分 CEO 预测 AI 将在数年内替代人工,但 OpenAI 承认目前的 GDPval 仅涵盖真实工作中非常有限的任务。不过,这是该公司衡量 AI 向 AGI 里程碑迈进的最新方式之一。
GDPval 基于对美国 GDP 贡献最大的九个行业(包括医疗保健、金融、制造和政府等),评估了 AI 模型在 44 种职业中的表现,范围涵盖软件工程师、护士及记者等。
在首个测试版本 GDPval-v0 中,OpenAI 邀请经验丰富的专业人士将 AI 生成的报告与人类制作的报告进行盲测比较并选出最佳者。例如,要求投资银行家为最后一公里配送行业创建竞争格局分析并与 AI 报告对比。随后,OpenAI 计算了 AI 模型在所有 44 种职业中相对于人类报告的“胜率”平均值。
结果显示,拥有额外算力的增强版 GPT-5-high 在 40.6% 的情况下被评为优于或等同于行业专家。
Anthropic 的 Claude Opus 4.1 模型则在 49% 的任务中获评优于或等同于行业专家。OpenAI 认为其高分主要源于倾向于生成令人愉悦的图表,而非纯粹的性能优势。
值得注意的是,在职专业人士的工作远不止提交研究报告,而这正是 GDPval-v0 的全部测试内容。OpenAI 对此予以承认,并计划未来推出更强大的测试版本,以覆盖更多行业和交互式工作流程。
尽管如此,该公司仍认为 GDPval 取得的进展值得关注。
OpenAI 首席经济学家 Aaron Chatterji 博士在接受 TechCrunch 采访时表示,GDPval 的结果表明从业者现在可以利用 AI 模型处理常规任务,从而将时间投入到更有意义的工作中。
Chatterji 指出:“随着模型在某些方面变得擅长,相关人员可以将部分工作外包给 AI,随着能力不断提升,转而从事潜在价值更高的事情。”
Tejal Patwardhan 对 GDPval 的进展速度感到鼓舞。约 15 个月前发布的 GPT-4o 模型在与人类的对抗中获胜或打平的比例仅为 13.7%,而现在的 GPT-5 得分已接近其三倍,她预计这一趋势将持续下去。
硅谷目前广泛使用 AIME 2025(竞赛数学问题)和 GPQA Diamond(博士级科学问题)等基准测试来衡量 AI 进展。然而,多款 AI 模型在这些基准上正逐渐趋于饱和。许多研究人员指出,需要更好的测试方法来准确衡量 AI 在实际任务中的能力。
随着 OpenAI 为其 AI 模型在多行业的商业价值进行论证,像 GDPval 这样的基准测试在相关讨论中将愈发重要。但要明确证明 AI 模型能够全面超越人类,OpenAI 仍需开发更完善的测试版本。

