编者摘要：JEV‑as‑a‑Judge 是卡内基梅隆大学提出的仅输出判定的大模型评判方案，核心思想：廉价模型做首轮评估，依靠置信度识别疑难样本，不确定样本升级交给更强大模型复审，实现低成本且高准确率的 LLM 自动评估。

传统 LLM‑as‑a‑Judge 需要生成推理文本，token 消耗大、开销高；JEV 不输出推理理由，直接输出结构化裁决标签与概率置信度。实验对比 16 套生成式评判器、奖励模型，并引入双盲人工裁决校验。 在普通偏好排序、依托证据做事实性检测任务上，JEV 性能与 SOTA 大模型差距控制在 3 个百分点以内，成本仅为 GPT‑6 的 0.36%，中位延迟仅 0.152 秒。但面对多步骤推导、甄别措辞华丽的错误回答时，性能出现大幅下滑；无参考的自由文本评估对所有模型都是难题。

研究提出置信度级联策略：置信度高于阈值直接采信 JEV 结果，低置信样本转发强模型。冻结阈值的离线仿真表明，该级联可以保留 SOTA 模型 99% 准确率，只消耗约 57% 成本。

研究也揭示局限：置信度阈值无法跨任务直接迁移；当模型高度自信却给出错误答案时，置信路由失效；温度缩放校准需要针对业务单独验证。给出落地清单：双向评估偏好样本、本地数据集调阈值、无效输出记为错误、置信度仅作路由信号、新业务务必小规模验证。

10 个关键问题问与答（Q&A）

Q1：JEV‑as‑a‑Judge 和普通 LLM‑as‑a‑Judge 核心区别？A：普通大模型评判输出「推理依据 + 判决」；JEV 仅输出判决 + 置信概率，不生成推理文本，极大降低计算开销。

Q2：JEV 性能水平如何？A：普通偏好、证据事实任务，和最优模型差距≤3%；复杂推理、风格对抗样本会掉 14‑20 个百分点。

Q3：JEV 的成本、延迟优势多大？A：成本约 GPT‑6 的 0.36%，每千次评判约 0.044 美元，中位延迟 0.152 秒。

Q4：什么是 “有把握采信，没把握升级复审” 级联？A：JEV 高置信直接采纳结果；置信度低于阈值，把样本交给更强大模型重新评判。

Q5：级联策略能达到什么效果？A：保留 SOTA 约 99% 准确率，开销下降至原强模型的 57%。

Q6：哪些场景适合直接用 JEV？A：普通回答偏好对比、有证据支撑的事实校验、最终答案裁决。

Q7：哪些场景不能直接信任 JEV，必须升级复审？A：多步数学 / 代码推导、分辨写得详尽华丽的错误回答。

Q8：置信度信号一定可靠吗？A：不是。遇到风格迷惑性样本，JEV 会高度自信但判错，AUROC 明显下降。无参考文本任务置信度基本失效。

Q9：阈值、温度缩放可以直接跨任务复制吗？A：不行。阈值、概率校准参数必须在对应业务数据上本地拟合验证，不能直接迁移。

Q10：落地部署有哪些实操提醒？A：偏好对比要正反双向评估；无效输出算作错误；置信度只做路由，不是正确保证书；新业务先做小规模验证。

附录 JEV‑as‑a‑Judge：有把握则采信，无把握则升级复审

作者：李玉博、苗艺迪、Ramayya Krishnan、Rema Padman 单位：卡内基‑梅隆大学 {yubol, yidim, rk2x, rpadman}@andrew.cmu.edu

摘要

大模型充当评判器（LLM‑as‑a‑judge）能够实现跨多样化任务的评估，但大规模使用时，推理成本与置信度可靠性成为关键问题。本文研究：仅输出判定结果的评判器，能否作为低成本的首轮评估工具，并识别出需要更高质量评估的样本。 将 JEV 评判器与 16 种生成式评判器、奖励模型评判器开展对比，同时采用双盲人工裁决作为基准。实验表明：在普通偏好排序、基于证据的事实性评估任务上，JEV 性能与当前最优大模型评判器差距在 3 个百分点以内，但成本仅为对比模型的0.36%。当评判任务需要校验推导过程、或是甄别写得天花乱坠的错误答案时，JEV 性能会出现明显下滑。 在多个基准数据集上，JEV 与最优模型之间的性能差距，绝大部分集中在低置信度的判定样本。本文提出一套固定级联策略：采信高置信度的判定结果，对不确定样本升级交由更强模型复审。该方案仅以更低成本，就保留了最优评判器 99% 的准确率。

1 引言

模型评估已经从针对固定任务打分，转向对开放式输出行为做质量评判。在通用大模型评判器出现之前，自然语言处理评估结合人工标注与任务专属自动指标，例如机器翻译里的参考译文重合度指标 BLEU（Papineni 等人，2002）。人工评判可以理解上下文、应用精细的评判标准，但人力成本限制了评估规模。 随着大模型广泛应用于对话、推理、代码生成、自由文本生成，评估需要覆盖更多样的任务、多样化的合理回答、多元的质量评判标准。其中很多评判场景，无法简化成固定参考文本或者一套打分规则（Zheng 等人，2023；Li 等人，2025）。

大模型充当评判器为规模化上下文评估提供了解决方案。能力足够的大模型，可以按照自然语言评判细则，对比候选回答，评估正确性、有用性、指令遵循度等质量维度。只需要修改评判细则与输入内容，同一套接口就可以适配不同任务，因此大模型评判器被广泛用于基准测试、回答筛选、训练数据质量评估（Zheng 等人，2023；Li 等人，2025）。 图 1 展示了从人工评估到生成式大模型评判，再到本文研究的 “仅输出判定结果” 范式的演进。

图 1：从人工评估到仅输出判定结果的评判范式。人工评估依赖专业人力；生成式大模型评判会同时输出推理依据 + 判定结果；JEV 直接输出结构化判定标签以及标签概率，聚合得到置信度。该图展示不同评估接口；本文实验里的生成式基线模型，同样配置为输出判定 + 概率的输出规范。

推理模型带来新的权衡：更长的思维链通过投入更多计算资源，可以提升高难度评判的效果（Kim 等人，2026）；但这也会带来开销：生成额外推理 token 会消耗算力，按 token 计费模式下会推高费用；顺序生成还会增加延迟。即便最终只是简短的判定结论，中间也可能产生大量推理计算；简单问题同样会消耗大量算力，但收益微乎其微（Chen 等人，2025）。当需要对海量回答、多轮模型迭代反复做评估时，评判器的开销就成为系统开发与运行成本的一部分。

同等重要的约束：我们需要知道什么时候可以信任一次模型判定。如果直接让大模型汇报自身置信度，模型常常过度自信，会给错误的答案输出很高置信概率（Xiong 等人，2024）。更好的提示词工程、更强的推理能力可以改善置信度估计（Tian 等人，2023；Yoon 等人，2025），但置信度的校准效果，本身取决于模型、任务、置信度提取方式，需要实证检验。自动化评估系统需要不确定性信号，用来区分常规简单样本，和需要进一步复核的样本。因此置信度的质量，同时关乎评估可靠性与资源分配效率。

以上现实痛点催生了JEV‑as‑a‑Judge：一套仅输出判定结果的接口，直接返回裁决结果与标签概率分布。本文研究 TypeSafe JEV 托管服务：接收自然语言指令与结构化输入，按照指定输出类型给出评判结果（TypeSafe AI，2026b）。该接口提供选择性评估所需要的两类信号：候选判定结果，以及从概率分布计算得到的置信度。 本文核心研究问题：这套评判器，能否作为低成本首轮评估，识别出需要交给更强大模型处理的输入。这需要联合测试它的准确率、概率校准质量、运行开销；仅仅有结构化概率输出，并不能代表概率本身已经校准良好。

本文将 JEV 与多套生成式大模型评判器、奖励模型，在偏好排序、事实性校验、答案裁决任务上对比，同时补充风格、答案格式的校验实验。生成式基线模型同样配置为输出判定 + 概率，不输出推理理由。 在统一测试集上测量费用与延迟；对和最强评判器产生分歧的样本，执行双盲人工裁决。由于 JEV 是闭源商用实现，本文对比的是完整可部署评判系统。

实验结论证明了 “仅输出判定结果” 的评判范式有适用空间： 在普通偏好排序、基于证据的事实性任务上，JEV 具备竞争力，同时开销极低；但在高难度正确性校验、甄别包装华丽的错误回答场景，暴露明显短板。 在适配的业务场景中，依靠 JEV 输出的置信度，可以搭建级联系统：采信高置信度输出，不确定样本升级交给更强大模型。 但无参考文本的自由文本评估、阈值跨任务迁移失败等现象提醒我们，该策略需要针对具体业务做本地验证。 本文实证阐明：什么场景下低成本评判器就足够；什么场景下额外推理带来的开销物有所值；以及置信度如何串联起两套评估流程。

2 相关工作

大模型充当评判器与呈现偏置

MT‑Bench、Chatbot Arena 证明高性能大模型可以作为评估器，同时也发现位置偏置、输出长度偏置、模型自我偏好等问题（Zheng 等人，2023）。平衡顺序评估可以缓解呈现顺序带来的影响（Wang 等人，2024）；评判细则措辞本身也会带来结果波动（Bagaria 等人，2026）；已有研究对打分、排序、筛选三类评估任务建立分类体系（Li 等人，2025）。本文固定一套输出规范，即流水线真正消费的裁决结果；测试反转输入、复述提示词、回答风格对结果的扰动。

奖励模型与评判基准数据集

PairRM 通过成对对比学习，支持模型集成（Jiang 等人，2023）；Skywork‑Reward‑V2 是现代标量奖励模型（Liu 等人，2026）。RewardBench 针对对话、安全、推理任务评估偏好模型（Lambert 等人，2025）；JudgeBench 侧重客观正确性评判（Tan 等人，2025）；HaluEval 提供基于证据的幻觉标注数据集（Li 等人，2023）。RewardBench 2 增加难度更高的多候选选择任务（Malik 等人，2026）；RM‑Bench 会改动答案风格、设置微妙的内容陷阱（Liu 等人，2025）。本研究全部使用以上数据集，并引入最新奖励模型作为基线，避免老旧排序模型定义高效评判器的性能上限。

置信度与低成本级联评估

经过反馈微调的模型，用自然语言表述的置信度具备一定参考价值，但评判场景下其可靠性需要单独验证（Tian 等人，2023；Hsiao，2026）。温度缩放是概率校准常用手段（Guo 等人，2017）；选择性分类算法在覆盖率与风险之间做权衡（Geifman 和 El‑Yaniv，2017）。 FrugalGPT 采用模型级联降低生成成本（Chen 等人，2024）；RouteLLM 基于偏好数据学习路由策略（Ong 等人，2025）。和本文最接近的工作：Jung 等人（2025）搭建带人工一致性保证的大模型评判级联系统；Xu 等人（2025）把奖励模型拿不准的成对对比样本，路由到更强的大模型评判器。 区别在于：本文针对一套商用、仅输出判定的托管评判服务，给出完整实测运行指标，使用预先固定的阈值，统计真实 API 计费开销；本文不提出全新路由算法。

3 任务与实验方案

评判器的输出类型不等于任务本身。评判器只输出标签，依然可以评估自由文本。因此本文把待评估回答的格式，和评判器输出格式分开看待。 实验任务包含：生成文本的两两排序；依托给定证据对单条回答做评估；对选择题、数值题最终答案做裁决。不同任务对语义分析的要求各不相同；即便输出是结构化标签，在封闭答案任务上也不会天然获得性能增益。

公开基准数据集

1. RewardBench
   去除完全重复三元组后保留 400 组配对样本，聊天、高难度聊天、安全、推理四类各 100 条（Lambert 等人，2025）。该均衡样本没有沿用官方数据集权重，标签来源混杂。
2. JudgeBench
   完整 350 组 GPT‑4o 划分的配对样本，覆盖知识、推理、数学、代码；不使用 Claude 划分子集（Tan 等人，2025）。
3. HaluEval
   240 条基于证据的评判样本：120 道问答，每道题有标准答案版本和幻觉版本，必须依托提供的证据做判断（Li 等人，2023）。实验直接沿用数据集自带标签。

已有数据与对照实验

150 条历史多轮对话回答样本，来自 6 个生成模型；包含中立、支持、质疑、参考信息补充类后续提问。任务是裁决最终答案：拿到选择题题干、可信参考答案、一条模型回复，提取模型最终观点，标注为正确、错误、无回答（样本分布 99/25/26）。没有原始标注人员信息，仅计算与已有标签的一致性。

两组基础对照：

1. 108 条来自 12 组 GSM8K 九轮对话，Qwen3‑32B 被反复质疑，所有样本标准答案均正确；
2. 64 条合成证据判断样本：分为支持、矛盾、信息缺失、干扰项四大类，共 16 小类。 评判细则、输入字段见附录 A。

实验冻结规则

642 条预实验样本，在任何推理运行前就固定；公开任务按照原始问题 40/60 划分：选择集只用来拟合温度系数、路由阈值；预实验测试集不参与调参。 670 条扩展样本，是在查看预实验准确率之前就固定，完全不参与调参。 第一阶段评测 JEV、三套 GPT 基线、PairRM；在知晓第一阶段结果后，在全部 1312 样本上重跑 JEV，增加更多模型家族；扩展集属于预留测试集，但多模型对比属于探索性分析。后续新增 Skywork、RewardBench2、RM‑Bench、GPT‑6，全部使用已经冻结的样本。

每个评判器额外处理 894 条诊断样本：全部 750 组偏好对做顺序反转；48 个固定样例，每个包含两次重复请求、一次评判细则改写请求。PairRM 处理 750 组配对的双向顺序；早期三套 GPT 基线保留相同数据；初始实验窗口中 48 组 JEV 原始对比单独报告。

4 评判器与评测指标

JEV 与统一输出规范

TypeSafe JEV 是托管服务，接收结构化状态、自然语言指令、允许的输出类型（TypeSafe AI，2026b）。

• Choice
  输出指定标签集合上的概率分布；
• Noul
  输出 yes 类别的概率；
• Score
  输出有序评判等级的概率分布。

主实验每条请求发送一条Choice查询。 实验采集时，JEV 1.13.0 计费标准：每百万输入 token 收费 0.042 美元，输出 token 不计费（TypeSafe AI，2026d）。

JEV 原生返回置信度，是概率分布的统计量（TypeSafe AI，2026c）。在 RewardBench、JudgeBench、HaluEval 数据集上，它和最大标签概率的斯皮尔曼相关系数分别为 0.971、0.999、0.948。因此全文统一使用 \(q=\max_{k}p_k\)（最大标签概率）做置信度绘图、错误检测、样本降级；原生置信度仅用于接口诊断。附录 A 给出完整请求与响应示例。

参与对比模型与输出约定

表 1 一共对比 17 套配置：13 套托管评判器（JEV；GPT‑4.1 mini、4.1、5.2、5.4、5.6 Sol、6 Astra；GPT‑OSS 120B；Groq 上部署 Qwen3.6/3.8 27B；Claude Sonnet 5；Gemini 3 Flash、3.1 Pro）；4 套本地运行基线。 早期三套 GPT 质量测试做标记；全部 13 个托管模型重新单独统计耗时。表 5 给出完整标识符、价格、参数设置。

生成式评判器拿到和 JEV 完全一致的指令与输入；要求只输出判定结果与各个标签的估计概率，禁止输出推理理由。它们的概率属于模型口头估计，校准效果需要实证检验（Tian 等人，2023；Hsiao，2026）。 推理模型使用低推理开销模式；Qwen3.6 使用默认配置 + JSON 对象模式；其余托管模型开启 JSON Schema 约束；GPT‑4.1 系列温度设置为 0。不同设置带来不同计算开销，开销统计直接包含在费用、延迟指标内。

Groq 端点拿不到 Qwen3、Qwen3.5，因此在单张 H100 显卡，vLLM、BF16、温度 0、非思考模式、JSON 约束下，部署官方 Qwen3‑32B、Qwen3.5‑27B 权重；标记为本地模型，不计等价 API 费用。 PairRM‑hf FP32 运行，2048token 配对分词器；截断会影响 7 组 RewardBench、59 组 JudgeBench 样本。它是独立排序模型，上下文更短，不能读取评判细则，和 JEV 架构并不对等。

现代奖励模型基线 Skywork‑Reward‑V2‑Qwen3‑8B（Liu 等人，2026），V100 显卡模拟 BF16 运行，官方对话模板，16384token 上下文上限。对每条回答独立打分；直接比较标量分数；完全平局时双方各计半分。原始分数不参与概率校准相关指标计算。

有效性校验与评价指标

每条输出都校验：schema 字段完整性、标签合法性、概率为有限数值、归一化（求和误差容忍 0.025，适配原生概率的四舍五入）、裁决结果等于概率最大标签。无效输出直接算作预测错误；概率相关指标仅统计有效输出样本，分母保持原始样本总量。 不会为拿到更好结果修复、重跑任何回答；网络临时故障最多重试三次，全部保留记录。

报告指标：准确率、基于已有标签的宏 F1、多分类布莱尔分数 Brier、截断负对数似然 NLL（下限\(10^{-6}\)）、10 箱期望校准误差 ECE。 错误检测 AUROC：把错误作为正样本，\(1‑q\)作为打分。 配对差异使用 2000 次基于原始问题的聚类自助重采样；保证同一问题的 HaluEval 两条回答、同一配对的全部输入顺序变体，不会被拆分开。

延迟与计费

批量质量测试的时间记录保留，但不用于延迟结论，因为同步调用会带来客户端竞争。 延迟数据来自固定的 120 条判定样本面板：每个公开任务 40 条，包含 HaluEval 每个问题两条回答。逐组跑模型，持久化客户端，8 个工作线程，最小启动间隔 0.12 秒；计时逻辑之外做开销统计；50ms 心跳记录事件循环残余延迟。 结果延迟包含网络、服务商、重试耗时；不等同于纯模型推理时间，也不代表系统吞吐量。Groq Qwen 端点存在每分钟 32000 输出 token 限速；配额耗尽、重试延迟会显著拉高尾部延迟。

费用使用采集时刻官方报价，包含缓存输入折扣、计费推理 token；缺失用量时，使用保守预留开销，而不是记为 0。核心费用指标基于这套 120 样本面板；完整 990 条公开任务开销也有统计。所有美元数值均为估算，不是真实账单。

5 质量与运行开销权衡

普通偏好排序与基于证据的事实性

RewardBench 数据集：JEV 准确率 92.2%；GPT‑6 为 93.5%，配对差值‑1.25 个百分点（95% 聚类置信区间 [‑3.8，1.5]）。 HaluEval 数据集：JEV87.5%；GPT‑6 86.7%，差值 + 0.83（[‑1.25，2.92]）。

数据集标签不能当作绝对真理。因此研究人员对两套模型输出不一致的全部基础样本执行双盲人工裁决（附录 I）。人工裁决结果相比数据集标签，更加偏向 GPT‑6： RewardBench 29 处分歧，人工 17 次支持 GPT‑6，5 次支持 JEV，7 次无法判定；人工校正后差距‑3.0 个百分点 ([‑5.3,‑0.8])。 HaluEval10 处分歧，人工 8 次支持 GPT‑6；差距‑2.5 ([‑5.0,‑0.4])。 同时发现：两套模型同时判错的 26 条 HaluEval 样本中，有 24 条数据集标签本身就和证据冲突。修正这批标签后，JEV 准确率 95.8%，GPT‑6 达到 98.3%。 所以 HaluEval 数据集上两者表面打平，一部分来自标签噪声。综合两套标签体系得到结论：JEV 和 GPT‑6 差距维持在 3 个百分点以内。

表 1：原始顺序下各模型准确率（%）。无效输出计为错误。Valid base responses：全部基础任务有效样本占总样本；†代表初始窗口质量测试；‡后续新增。本地 Qwen 非思考推理；托管推理模型默认低开销模式，Qwen3.6 除外。Skywork 标量打分平局计半分。

高难度正确性评判

JudgeBench 数据集拉开性能差距。JEV78.6%，GPT‑5.6、GPT‑6 均 93.1%，配对差距‑14.6 个百分点 ([‑18.9,‑10.3])。 差距在推理任务（JEV68.4% vs GPT‑6 95.9%，n=98）、代码任务（76.2% vs 97.6%，n=42）最突出；知识任务差距最小（84.4% vs90.9%，n=154）。 这不是标签噪声问题：人工裁决的 69 处分歧，57 处支持 GPT‑6，仅 1 处支持 JEV，11 处无法裁决；人工校正后差距‑16.0 ([‑20.0,‑12.3])；推理、代码、数学领域，几乎全部偏向 GPT‑6。 Skywork 在 RewardBench 达到 94.0%，但 JudgeBench 仅 71.1%；对比 PairRM 的 68.0% /54.3%，是更强的奖励模型基线。

已有标签样本与饱和对照实验

150 条历史回答样本：JEV94.0%，宏 F1=0.923；GPT‑6 96.7%，宏 F1=0.947。 对照组实验出现性能饱和：15 套可用配置里 14 套，在 GSM8K 轨迹集 108 条全部答对，合成证据集 64 条全部答对；Qwen3.6 得到 105/108、61/64，错误全部来自输出无效，有效样本全部判断正确。对照实验只能验证基础功能，很难区分模型优劣。

高难度样本与回答风格对抗测试

JEV、GPT‑6、Skywork 在同一批冻结样本上评测：100 条 RewardBench‑2 四候选提示；80 条 RM‑Bench 提示，每条构造 9 种风格配对，双向顺序。 四选一任务：JEV73.0%，GPT‑675.0%（‑2.0 个百分点 [‑12.0，8.0]）。 RM‑Bench：当两个回答风格相近，JEV 准确率 84.0%；当错误回答写得更加详尽华丽，JEV 掉到 74.8%，同来源样本内下降‑9.2 个百分点 ([‑14.0,‑4.8])。 反观 GPT‑6，从 93.3% 微升到 94.6%，+1.3 ([‑1.9,4.2])。在这类对抗难样本上，两者差距‑19.8 ([‑27.7,‑12.7])。 由此可见：选出正确答案，和抵抗华丽包装的错误回答，是两种不同的能力。

答案格式、无标准答案抽取任务

对于选择题回复，可以两种打分方式：①直接对照参考答案裁决；②不看参考答案，只提取回复给出的最终选项，再用代码比对。 150 条历史回复做对照，增加模糊结果类别，因此分数不能和前文 94.0% 直接对比。 JEV 直接裁决：91.3%；先抽取再比对：86.0%，下降 5.3 点 ([‑14.0,2.0])。GPT‑4.1 mini 两种模式均 87.3%。抽取模式会产出更多模糊结果；但没有带来一致性提升；不存在独立的标准答案抽取标签，这里只看下游匹配一致性。

固定 40 道 HaluEval 问题，构造 6 种回复变体，同时支持选择题格式与自由作答格式，固定内容只改变格式。 JEV 在选择题格式 100.0%，自由作答 92.5%，配对下降‑7.5 ([‑11.7,‑3.3])。一部分差距来自评判细则适配；迁移过来的幻觉标签会和语义等价判定冲突。附录 J 给出全部条件、提示词、示例。

带证据 / 不带证据的自然文本评估

原始 HaluEval QA 样本，只有 16 条回答超过 20 词。本文新增两组文本样本：80 份基于 40 份 HaluEval 文档的摘要；80 条通用回答，均衡分布已有人工幻觉标签。

• 文档摘要（有证据）：JEV71.2%、GPT‑4.1 mini62.5%、GPT‑5.4 72.5%。
• 无参考通用回答：JEV52.5%、GPT‑4.1 mini53.8%、GPT‑5.4 55.0%。JEV 相对 GPT‑5.4 差距‑1.2 ([‑10.0,7.5])、‑2.5 ([‑11.2,6.2])。

没有参考证据时，三个模型准确率接近随机，但置信度普遍很高。平均最大概率分别 0.90、0.95、0.96。JEV 的 Brier=0.815，错误检测 AUROC 仅 0.518；GPT‑5.4 Brier=0.813。 两套样本内容、标签来源都不同，只能说明和业务强相关，不能单纯归因为格式效应。

输出有效性

在全部基础样本上 JEV 都满足输出契约；部分开启约束生成的大模型也可以做到。但有些模型会出现：服务商侧结构化生成报错、语义不满足契约、网络传输失败。Qwen3.6 的结果必须结合有效样本占比一起解读。API 调用失败不等于推理错误，但代表得不到可用评判结果。

实测延迟与费用

JEV 中位数延迟 0.152 秒，每千次评判花费 0.044 美元。 GPT‑4.1 mini：中位数 0.548 秒，每千次 0.390 美元。 GPT‑6：中位数 1.885 秒，每千次 12.182 美元。 本测试场景下，JEV 大约比 GPT‑4.1 mini 便宜 9 倍，比 GPT‑6 便宜 277 倍。 图 2 展示全部 13 个托管模型的延迟尾部分布与开销。

图 2：隔离测试面板，每个托管配置 120 次评判，每个公开任务 40 次。左图：中位数（实心圆点）、P95 延迟（空心菱形）；横轴对数刻度单位：秒；连线不是置信区间。右图：每千次评判预估美元开销；缺失用量采用保守预留。本地模型不参与 API 开销对比。

适用业务边界

表 2 汇总不同业务场景的对比。

• 如果输入附带参考、证据，或者任务只是普通偏好排序：JEV 和最优评判器差距 3 个百分点以内，开销低 1‑2 个数量级。在每千次开销低于 1 美元的托管评判器里，JudgeBench 数据集上 JEV 准确率最高；HaluEval 并列最高；RewardBench 距离最优仅差 0.6 个百分点。
• 如果任务需要校验多步推导，或者识别包装精致的错误答案：和 GPT‑6 差距 9‑20 个百分点，必须升级复审。
• 无参考的自然文本评判：对所有被测评判器都是难题，而不是 JEV 独有的短板
  。 答案格式带来的性能损失相对有限：同一 40 道问题，选择题切换自由作答只下降 7.5 个百分点，远小于不同业务场景之间的差距。

表 2：JEV 适用业务边界。准确率（%），JEV 减去对比最优模型的差值，附带 95% 聚类置信区间；每一行选取该场景性能最强的模型作为对比。“风格对抗配对” 指错误回答写得更详尽。“不支持” 代表所有被测模型效果接近随机。指导意见仅做描述。附录 I 提供人工裁决后的差值。

6 稳定性与概率输出质量

重复请求、候选顺序扰动

三类诊断测试稳定性：完全重复相同请求（随机波动）；评判细则改写（措辞敏感度）；交换两个候选回答顺序，映射标签后对比结果。

• 48 个样例，96 次重复请求：JEV 判定结果没有变化。
• 48 次改写评判细则：仅 4 次判定改变。
• 交换候选顺序：RewardBench 有 3.25% 判定改变；JudgeBench 11.14% 判定改变。双向都判断正确的准确率分别 91.0%、74.0%。 JEV 选择排在第一位样本的比例分别 48.9%、48.4%；不一致不是单纯位置偏好。39 组 JudgeBench 不一致配对，14 组永远选第一个、25 组永远选第二个。 不同采集窗口之间，JudgeBench 仅有 7 处判定变化，整体准确率只变动 1 个样本。完整诊断结果见表 14、15，图 14。

准确率、概率校准，不同模型表现并不对齐

JEV 的 Brier 分数：RewardBench0.111、JudgeBench0.297、HaluEval0.176； GPT‑6：RewardBench0.104、JudgeBench0.095、HaluEval0.245。 GPT‑6 在高难度对比样本上准确率更高、概率校准更好；但这套优势没有迁移到基于证据的事实任务，HaluEval 上 JEV 概率表现更优。

图 3：上图：JEV 最大标签概率分布，区分正确、错误判定。下图：多个评判器可靠性曲线，使用同一最大概率统计量；每个分箱至少 5 个有效样本。样本数量不同，覆盖率不同，视觉排名仅供参考。

当 \(q≥0.9\)：

• HaluEval：JEV199 条高置信样本出现 10 次错误；GPT‑6 的 233 条高置信样本出现 28 次错误。 错误检测 AUROC：JEV 分别 0.869 (RB)、0.745 (JB)、0.863 (HA)；GPT‑6：0.891、0.907、0.899。 错误排序能力和概率校准是两个独立属性：在 HaluEval 上，尽管 Brier 分数更高，GPT‑6 识别错误样本的排序效果更好。JudgeBench 中，JEV138 个高置信样本依然存在 9 个错误。

温度缩放跨任务迁移效果差

在预实验选择集拟合温度缩放（Guo 等人，2017），在预留扩展集上测试：

• HaluEval：NLL 从 0.333 改善到 0.284；
• JudgeBench：NLL 从 0.449 恶化到 0.475；
• RewardBench：NLL 从 0.205 恶化到 0.232。

最优拟合温度各不相同：RewardBench0.65；JudgeBench2.15；HaluEval4.45。不存在一套温度适配全部任务；每个业务场景都需要本地验证。图 11 对比原始概率指标。

不同接口输出存在分歧

48 个样例审计：对齐后的Choice、Noul、Score接口输出概率存在差异。Choice‑Noul平均差距 0.055；Noul 取反后残差平均 0.045；硬标签仅 1 例不一致。上下文、随机效应、四舍五入都会带来差异，和官方文档记录的接口局限一致。

7 错误互补与置信度降级复审

更强评判器的开销价值在于修复第一阶段评判器犯下的错误；两套评判器犯错模式并不一样。JudgeBench 数据集：GPT‑6 可以修正 JEV75 个错误中的 60 个；但 JEV 只能修正 GPT‑6 的 24 个错误中的 9 个；两者合并的理想 oracle 上限准确率 95.7%。 但工程部署中，我们只能使用判定时刻可获取的信号，识别潜在错误。 图 4 展示 JEV 双输出：给出判定结果；置信度决定采信还是交给更强模型。

图 4：有把握就采信，没把握就升级复审。JEV 输出判定结果，同时输出来自标签概率的置信度。置信度作为路由闸门：高置信直接采信；不确定样本升级交给更强大模型，以强模型输出作为最终裁决。成对评判任务，会把配对双向输入得到的概率对齐后做平均，再执行路由；阈值必须针对业务场景验证。

置信度可以对错误做排序

图 5 将 990 条基础样本，按 JEV 最大标签概率q分箱。准确率随q单调上升。 三个任务合并统计：

• \(q<0.6\)共 65 条：JEV 正确率 47.7%
• \(0.7\le q<0.8\)共 85 条：76.5%
• \(0.95\le q<0.99\)共 147 条：93.9%
• \(q=1\)共 322 条：99.1%

同样样本上 GPT‑6 的准确率从 78.5% 提升至 99.1%。GPT‑6 的性能优势，集中在 JEV 置信度低的样本。 当\(q≥0.9\)直接采信 JEV：两套模型性能几乎持平（95.8% 对比 96.5%；人工修正标签后 97.2% 对比 98.5%）；被升级复审的样本上，GPT‑6 领先 15 个百分点（67.9% 对比 82.6%）。 分任务 AUROC 分别为 0.869、0.745、0.863。这构成置信度级联系统的基础：置信度高直接采信 JEV，置信度低再花钱调用更强大模型。

单阶段级联仿真

图 5 下排、表 13 仿真这套策略：达到阈值采信 JEV，未达到就使用后备强模型的判定。 阈值\(\tau=0.9\)时，合并三个任务，34% 样本升级复审；级联系统准确率 91.3%；GPT‑6 单独跑为 91.7%；保留 99.6% 原始性能；开销仅为 GPT‑6 单独运行的 47%。 信号具备实际价值：同样随机升级 34% 样本，只能拿到 88.1%；全知 oracle 优先升级真正错误样本，可以到 94.4%；说明置信度捕获了接近一半可实现收益。

分任务表现：

• RewardBench：级联方案 94.0%，超过 GPT‑6 单独运行的 93.5%，开销仅 22%。两套模型错误样本并不完全重合。
• JudgeBench：JEV 平均置信度仅 0.81；同样阈值，61% 样本需要升级；依然保留 98.2% 原始准确率，开销 62%；\(\tau=0.95\)保留 99.1%，开销 74%。
• HaluEval：原始数据集标签下，阈值变化几乎不改变准确率；大量低置信样本本身是数据集标签错误。人工修正标签后，\(\tau=0.8\)仅升级 11% 样本，就达到和 GPT‑6 一致的 98.3%，开销仅 13%。

后备模型也不必选用最贵的 GPT‑6；选用 GPT‑5.6，\(\tau=0.9\)级联方案合并准确率 91.9%，每千次评判开销约 3.4 美元。 ⚠️注意：以上阈值是在测试数据集上事后读取得到。下面 “冻结双阶段策略” 使用预先指定的阈值。

预先冻结的双阶段级联策略

设 \(p_1(x,y)\)：当输入顺序\((x,y)\)时，JEV 分配给第一个位置回答的概率。 对于成对样本，把配对正反顺序都跑一遍，对齐语义回答 A 的概率做平均：

\(\overline{p}(A)=\frac12\big[p_1(A,B)+1-p_1(B,A)\big]\)

严格平局各计半分。 针对不同后备模型，阈值在 96 条预实验选择集（64 RewardBench+32 JudgeBench）上选出；优化目标：在保证选择集内级联准确率相比后备模型下降不超过 2 个百分点前提下，最大化直接采信覆盖率（Geifman 和 El‑Yaniv，2017）。 无效的第一阶段输出，一律直接降级复审。网格搜索、规则全部在模型扩展实验之前固定；预实验测试集、扩展集只用来评估，不参与调参。

表 3：510 条扩展偏好样本上，选定的冻结双阶段 JEV 级联策略。∆：级联准确率减去后备模型准确率，附带 95% 聚类自助区间。费用比例包含两次 JEV 调用；报告用量 / 保守上限。离线仿真结果。

阈值 0.9，后备 GPT‑6 Astra：53.7% 样本直接采信，级联准确率 92.5%；后备单独跑 93.1%；开销比例 56.8%（保守上限 62.2%），配对差值‑0.59 点 ([‑1.78,0.59])。 但这套规则不能随便跨模型迁移：后备 GPT‑5.6 Sol，阈值 0.7，81.0% 直接采信，但准确率损失达到‑2.35 个百分点，超过预先设定的 2 点容忍上限。\(\tau=0.5\)策略完全不触发后备，等价于双向概率平均。 真实串行延迟、外部验证阈值，属于未来待测量。

置信度信号失效的场景

级联有效的前提：JEV 不确定的样本大多确实是它会判错的样本。这个前提只在适用业务边界内成立。 RM‑Bench 跟进测试：简单配对 AUROC0.918，普通配对 0.902；风格对抗难配对仅 0.770。 在风格对抗样本上：JEV 在置信区间 [0.9,0.95] 的样本，三分之一是错的；[0.95,0.99] 区间依然 15% 错误。 \(\tau=0.9\)，后备 GPT‑6，这类难样本仅保留原始性能的 96.5%（90.8% 对比 94.2%）；想要保留 98.7%，需要\(\tau=0.95\)，58% 样本升级复审。而普通配对\(\tau=0.9\)就可以保留 99.6% 性能。 在无参考文本任务，AUROC 只有 0.518，任何阈值都不起作用。

总结：置信度路由在第一阶段模型能力尚可、只是拿不准的场景效果好；当模型被迷惑却依旧高度自信时，路由失效。级联策略必须在未来线上业务同类样本上做验证。

8 结论

JEV 可以胜任很大一类评判任务。 普通偏好排序、基于证据的事实校验、最终答案裁决任务，它性能和最强被测评判器差距在 3 个百分点以内，全部样本输出有效；延迟中位数 0.15 秒，约 0.04 美元每千次评判。 当任务需要校验推导过程，或是甄别包装华丽的错误回答，必须升级复审。对于没有参考依据的自然文本打分，不要信任任何被测评判器。

依托 JEV 的置信度，可以搭建自动化升级复审：高置信直接采信，不确定样本升级；只消耗 57% 的开销，保留 GPT‑6 大约 99% 的准确率。

本文实验总结出一份检查清单：

1. 成对偏好评判，务必正反顺序各跑一次，对齐语义后平均概率。
2. 在本地选择集选出升级阈值，再在预留测试集复测；阈值不能保证跨所有后备模型直接迁移。
3. 评判器对比时，无效输出要计作错误。
4. 置信度只用作路由升级信号，不能当作判定正确的保证书；在风格对抗样本上检验置信度；每个业务场景单独验证温度缩放。
5. 拓展到全新业务场景前，一定要做小规模本地验证。

一份可用的裁决输出、一次正确的判定、一套可靠的不确定性估计，是三件完全不同的事情，每一项都必须单独校验。

局限性

1. 本文只评估了一个闭源 JEV 版本，对比一组选定的模型配置。训练集重叠、数据集污染情况未知。推理算力、模型大小、上下文窗口、版本、部署系统各不相同；因此这不是控制变量的架构对比。尽可能使用快照版本，但部分服务别名、预览模型会后台迭代；早期质量窗口、扩展实验都做标记；单组重复锚点无法捕获全部模型漂移。
2. 仅输出判定的提示范式，舍弃生成式解释、解释可信度、很多长评判细则。模型原生概率分布，和通过提示词让大模型口头输出概率，生成机理不一样。无效评判算作准确率错误，但概率指标只统计有效输出，两类分母不能混淆。本地非思考模式 Qwen 配置，不等价于线上 Groq 端点；PairRM 没有评判细则，上下文更短。
3. 扩展集是在查看原始实验结果之后才加入；多模型分析全部属于探索性；虽然扩展集和调参样本完全不相交，但没有对分析者完全隐藏。校准、诊断数据集样本规模小，估计有不确定性；大量对比、描述性 ECE 指标，不支持单一模型绝对最优的论断。饱和对照集上的窄置信区间，不能代表通用场景可靠性。
4. 已有标注来源信息不全；GSM8K 轨迹样本全部标准答案正确，属于简单正向对照。附录 I 的人工裁决，只针对两套模型产生分歧的 183 条样本，不是数据集随机审计；没有大规模众包。只有一名作者完成全部人工标注；大模型打分仅用来筛选待裁决样本。RewardBench 偏好类标签本身主观性较强，人工‑大模型科恩 κ 只有 0.29。主实验全部沿用原始数据集标签；人工修正准确率仅作为敏感性分析。附录 H 案例说明最终答案正确，但推导过程错误这类复杂情况；触发事后评判细则消融实验。专业垂直领域没有做测试。
5. RewardBench2、RM‑Bench 测试样本规模均衡但偏小；GPT‑6 是后期追加在完全不变输入上。RewardBench2 不处理平局，使用四选一，因此分数不能和 RewardBench1 二分类准确率直接对比。Skywork 只是其中一个现代奖励模型；原始标量分数没有概率解释；换其他架构结果可能改变。已知基准数据集性能、未知训练重叠，限制了我们对泛化能力的结论。
6. 延迟受客户端位置、采集时间窗口、服务商负载影响。批量跑的计时数据存在客户端统计竞争，不和隔离面板数据合并。120 样本面板很难捕捉长尾尾部。串行跑模型组，服务商负载会发生变化。费用严格遵循缓存规则；缺失用量使用保守上界；没有拿到服务商正式账单；本地 GPU 没有等价 API 报价。仿真级联开销不等于真实业务串行延迟。第 7 节单阶段级联阈值是事后读取；只有冻结双阶段策略是预先指定规则。

伦理考量

本研究复用公开基准数据集与已有标注。新增人工标注只有附录 I 中 183 条双盲裁决，全部由研究团队成员完成，没有外部众包工人。数据公开发布前，需要重新审核来源与许可证。API 密钥、账号元数据不会放进论文附件。高置信但错误的样本提醒：任何自动化评判器，都不应该单独用来做高利害决策。保留原始参考材料，区分服务故障和模型观点分歧。

致谢

本研究得到美国国家标准与技术研究院资助（联邦项目编号 60NANB24D231），同时获得卡内基梅隆大学 AI 测量科学与工程中心（AIMSEC）支持。也感谢 OpenAI 研究者访问计划提供 API 额度。

（参考文献、附录 A‑L 略，原文包含大量附录：数据划分、模型配置、有效性指标、领域结果、跟进基准测试、概率质量、稳定性诊断、案例、人工裁决、答案格式、自由文本评估、可复现数据包。）

注：文中专业名词统一说明

• LLM‑as‑a‑judge：大模型充当评判器
• JEV：TypeSafe AI 的闭源结构化输出评判服务
• Cascade：级联系统，简单样本走廉价模型，难样本路由给更强模型
• Confidence /q：置信度，取输出标签最大概率
• Brier score（布莱尔分数）、NLL 负对数似然、ECE 期望校准误差：概率校准指标
• AUROC：错误识别能力曲线下面积
• Bootstrap cluster resample：聚类自助重采样，避免同问题样本之间统计泄露
• Rubric：评判细则、打分规则
• Escalate：升级复审，把样本交给更强模型处理
• Defer：降级 / 转交复审
• Position bias：位置偏置，模型倾向选择排在前面的候选回答
• Reference‑free：无参考证据 / 无标准答案
• Reward model：奖励模型
• Pairwise ranking：两两成对排序
• Temperature scaling：温度缩放，概率校准常用后处理手段