一位机械工程师拿到一份需求：为一套电缆绕线系统设计一个测试台。他要读懂技术规格，画出三维模型，再做一份讲清设计思路的演示文稿。
这是 OpenAI 的 GDPval 里的一道题。像这样的题，一共有 1320 道，覆盖 44 个职业：律师写法律备忘录，护士写护理方案，财务分析师做估值表，记者写稿，销售经理做方案。出题的人平均有 14 年从业经验，一道题专家自己做，中位数要四五个小时。
另一批同行业的专家拿到两份匿名的交付物，一份是 AI 做的，一份是人类专家做的，判断哪份更好。比较一次，平均要一个多小时。每道题、每个模型，要这样比 9 次。
2025 年 9 月，OpenAI 公布了结果：表现最好的模型，在将近一半的比较里，被专家认为「和人做得一样好，甚至更好」。
这是我们见过最贵的一份 AI 考卷。它也是目前最接近「AI 到底能不能干活」问题的考卷。
一、GDPval 怎么出题
我们分享过SWE-bench 从开源世界挖题，和 HLE 向专家众包，2种出题方式， GDPVal 采用的是第三种方式：专家定制+同行盲评。
-
从开源世界里挖题：SWE-bench 从 GitHub 上的修复记录里挖题。成本几乎为零，但题目在成为考题之前就已经公开，会被模型背下来；开发记录也不是为考试写的，测试常常判错。
-
向专家众包题：HLE 设奖金向近千位专家征题，只留 AI 答不出的。题目确实难，但筛选规则和奖金都只奖励「难」，大量标准答案本身是错的。
-
请资深从业者定制，再由同行盲评：这就是 GDPval。题目从真实工作里来，判分不靠标准答案，而是让懂行的人直接比较两份交付物的好坏。
第三种方式绕开了前两种的大部分坑：题目是新写的，没有公开过；也没有「唯一标准答案」可以写错，因为判分本来就是比较。代价是，每一个环节都要大量资深专家的时间。
图：按美国 GDP 占比选行业，再在行业里挑收入最高、以知识工作为主的职业。
OpenAI 先选了占美国 GDP 比重超过 5% 的 9 个行业，再在每个行业里挑出总收入最高、且以知识工作为主的职业。筛选用的是美国劳工部的职业数据库：一个职业的工作内容里，至少 60% 不是体力劳动，才会被选进来。最后得到 44 个职业，从软件开发、律师、注册护士，到财务经理、记者、工业工程师。
图：每道题 = 任务说明 + 参考文件 + 从业者亲手做的交付物。图中 9 例：从设计电缆盘支架的 3D 模型，到给巴哈马度假做行程。
-
每个职业由该领域的从业者出题，要求至少 4 年经验，实际平均约 14 年。
-
每个职业 30 道，一共 1320 道，其中 220 道作为公开的「黄金子集」。题目都来自出题人真实做过的工作，常常附带参考文件：一份合同、一组财务数据、一张图纸。要求的交付物也是真实的工作产物：文档、表格、幻灯片、示意图，甚至多媒体文件。
-
每道题平均经过约 5 轮审核：同行互审、额外的专家审核，再加上模型辅助检查。
图：三阶段 通用指导 → 同职业专家反馈并要求修改 → 终审签收；不合格打回重写。
这样出一道题，专家做一遍要四五个小时，最长的要上百个小时。和 SWE-bench 几乎零成本挖题、HLE 几分钟审一道题相比，这是完全不同的投入级别。
GDPval 的题，大多没有唯一的正确答案。一份法律备忘录、一个设计方案、一份护理计划，好坏要看结构、准确性、专业判断、表达，没法写成一个数字让程序去比对。
图：例题：给私人高尔夫俱乐部写一份预订流程 SOP。左为从业者交付物，右为 GPT-5 交付物，评审不知道哪份是 AI 做的。
-
-
-
另一位同行业专家拿到两份匿名的交付物，不知道哪份是 AI 做的，判断 AI 那份是更好、一样好，还是更差。
-
每个模型每道题跑 3 次，每次由 3 位不同的专家评，一共 9 次比较。
-
最后算 AI 在多少比例的比较里「不输」人类专家。50% 意味着和专家打平。
评审专家为这一次比较平均要花一个多小时：读懂任务，读两份交付物，核对数据和事实，再做判断。
图：深色 = 只算赢，浅色 = 赢 + 平；红线 50% = 和专家打平。Claude Opus 4.1 最高，约 47.6%（2025 年 9 月）。
2025 年 9 月的结果里，表现最好的是 Claude Opus 4.1：在约 47.6% 的比较中，专家认为它的交付物和人类专家一样好或更好。GPT-5 约四成，相比一年多前的 GPT-4o，表现翻了两三倍。
OpenAI 还给了一个对比：在这些任务上，模型完成的速度大约是专家的 100 倍，成本大约是百分之一。
这两组数字很快被大量引用，很多标题直接写成「AI 已经能做一半的专业工作」。可如果分析评测细节，会发现这个「一半」建立在几个很具体的前提上：
前提一：任务一次说清，不用来回沟通。 GDPval 的每道题都把背景、要求和参考材料一次性给全，模型交一次就结束，没有追问、没有修改、没有客户反馈。可真实的工作很少是这样的：需求常常是模糊的，最重要的信息常常要问出来，交付之后还要改好几轮。
OpenAI 自己做了一个实验：把同一批题的任务描述大幅删短，GPT-5「不输专家」的比例就从 47.7% 降到了 44.3%。
图：同一批题，把任务描述删短后，GPT-5 的「不输专家」比例从 47.7% 降到 44.3%。
也就是说，模型的表现很依赖「有人已经把问题想清楚、写清楚」，而这一步在真实工作里，恰恰是资深从业者最值钱的部分。
前提二：只看交付物，不看过程。 评审只看最终的文件。模型怎么查的资料、引用的数据从哪来、中间算错了没有，都不在判分范围里。一份格式漂亮、结构完整的报告，即使某个关键数字是编的，也可能在比较中胜出。
这一点在结果里有迹可循。OpenAI 说，Claude 的优势主要在美观和排版，GPT-5 的优势在专业准确性。按交付物格式拆开看，在纯文本任务上，Claude 的胜率只有约 14%，GPT-5 约 22%；而在 PDF、Excel、PPT 这类讲究排版的格式上，Claude 的胜率都在 45% 以上。评审是人，人会被好看的东西影响。
图：纯文本上，各模型胜率都不高；到了 PDF、Excel、PPT，Claude 明显领先，排版好看会加分。
前提三：只考能在电脑上独立完成的部分。 职业的筛选本来就排除了以体力劳动为主的工作，题目也排除了需要大量隐性知识、要用个人隐私数据、要用专有软件，以及需要和人沟通协作的任务。一位护士的工作里，写护理方案能考，安抚病人、和医生沟通、在病房里随机应变，都不在考卷上。
此外，任务越长，模型的胜率越低：专家两小时以内能做完的任务，模型表现最好；专家要做很久的任务，模型的胜率明显下降。
图：按专家完成任务所需时间分组：2 小时以内的任务，模型表现最好。
所以，「AI 在一半的比较中不输专家」更准确的说法是：在需求已经被写清楚、只看最终文件、能在电脑上独立完成的工作片段上，AI 有一半的时候不输专家。
只算 220 道公开题、评一个模型：220 道题 × 每题 9 次比较 = 1980 次专家比较。每次比较一个多小时，评一个模型，大约就要两千个专家小时，还不算出题的时间。按资深从业者的时薪算，这是一笔不可忽略的开支。
而这还只是评测。如果要用这类任务来训练模型，需要的专家判断还要多出几个数量级。
GDPval 也指出了降低成本的方向。它的 220 道公开题，除了用来盲评，还配了上万条由人写的评分要点，平均每道题四十多条，为的就是让自动评委能更接近专家的判断。
这其实是在把专家的判断「沉淀」下来，不只是让专家做题，更是把专家的判断变成可以反复使用的标准：
-
第一步，专家出题：从真实工作里提炼任务，写清背景、要求和参考材料。这一步决定了考卷有没有价值。
-
第二步，专家评审：在最难、最有争议的比较上，让同行做判断。这一步决定了分数可不可信。
-
第三步，把评审变成规则：从专家的判断里总结出可复用的评分细则，交给程序或模型去批量执行，专家只处理规则覆盖不了的部分。
Relia Lab｜Benchmark and expert data for frontier AI
Relia Lab 是 Relia 的评测与专家数据实验室，我们正在招募出题人的方向：
代码评测：软件工程、系统运维、安全、Agent 开发
产品评测：产品设计、前端与 UI、交互体验、用户研究
🙋行业专家：后台回复「出题」，了解出题人计划并报名
🏢 AI 团队：后台回复「合作」，定制 Benchmark、专家数据与RL环境
