大模型上了线，回答好不好，谁来评？人工逐条看几百条用例，眼睛花、标准飘，一轮拖两周。于是业界用「AI 审 AI」——让一个 LLM 当裁判给另一个模型打分（LLM-as-Judge），规模化、可重复、成本低。
但实际用下来，AI 裁判有两个毛病：①打分偏严——比人苛刻，答得好也说不够充分；②标准漂移——换个裁判模型，同批卷子分数全变，没法跨版本比较。
根子在：AI 既当事实裁判（有没有这个信息），又当分数裁定者（该给几分）。前者它还能干，后者本质是主观的——「充分提取」「较模板化」换个模型理解都不同。
解法：把 AI 的手和脑分开。AI 只做事实判断（有没有、对不对），分数由确定性规则算出，最后用人工校准对齐偏差。
我们搭了一套四层链路，逐层收紧：
图 1 LLM-as-Judge 四层链路总览
第一层：选择——把评分标准「锁死」
把模糊标准变成可执行清单
AI 打分飘，重要原因是每次都在「重新理解」标准。我们把每个维度的判定规则一次性编译成可执行检查清单——拆成几个「是/否」问题，AI 只回答「有/没有」「对/不对」，分数由代码按规则映射；清单写上版本号锁定，后续所有打分都读它，不让 AI 看原始 Word 文档——等于给裁判发一本固定操作手册，不许自由发挥。
筛出稳定的裁判
不是所有模型都能当裁判。用「自一致率」筛选：同一样本让裁判打分多次，看是否一致，连自己跟自己都打不一致，跟人工更不可能对齐。用 Krippendorff's alpha 衡量：≥0.80 通过，0.67–0.80 可接受但需关注，<0.67 排查标准模糊或样本歧义。原型阶段用温度 0+3 次重复测「稳定性上限」（3 次偏少，后续应增至至少 10 次）。
第二层：使用——让裁判不被干扰
分项隔离：一次只问一件事
一条回答评多维度，全塞进一个 prompt 会「串台」——评 A 时被 B 带偏。默认逐项隔离：每个维度单独调一次裁判，prompt 只放当前维度清单和完整回答。
证据锚定：每打一分必须引用原文
让 AI 直接给「几分」分数会飘。改成：AI 只回答「是/否」并引用原文作依据，分数由代码按聚合规则算。代码先检查用户有没有提供某项信息（没提供就跳过），AI 只对「提供了的」逐项做事实判断，每个「是」的证据还要由代码校验引用片段能否在原文找到。这样 AI 的随机性被压缩在事实判断层，不传导到分数上。
第三层：校准——修正系统性偏差
信号洗干净了，AI 仍可能系统性偏严或偏松。做法：收集一批同时有 AI 原始分和人工标注分（Gold）的案例，看 AI 在每个分数档偏了多少，建一张映射表。如 AI 给 3 分、人工平均给 4 分，则 AI 的 3 分映射到 4 分。偏差方向：bias = 人工均分 - AI 均分，正数偏严，负数偏松。
关键约束：样本太少的维度跳过校准避免过拟合；校准效果须在独立保留集上验证，不能自己改自己查。此思路与 Platt scaling 等方法目标一致，区别在于我们用更轻量的分组均值映射。
第四层：验证——校准到底有没有用
校准做完，怎么知道是真对齐还是只把分数抬高了？不能只看分数接近——会掩盖「校准过头」。我们同时看：①Cohen's Kappa（AI 与人工判定一致性，校准后应提升；有序评分建议加权 Kappa）；②混淆矩阵 + FP/FN（positive=裁判判「通过」；FP=裁判判通过但人工不通过即偏松，FN=裁判判不通过但人工通过即偏严）；③通过标准：Kappa 提升，且 FP/FN 至少一类显著下降、另一类没变差，否则校准失败回退重来。
所有前后对照（Kappa、混淆矩阵、FP/FN 变化）全部存档作为校准有效性证据链。阈值用 60% 满分作二值化分界线（基于当前校准集，非通用标准）。
四层链路跑完不是终点，落地须守住三条线：①标准中途不换——任何重跑都复用第一层锁定的同一套标准，换了前后不可比；②校准必须留证据——校准前后 Kappa、混淆矩阵、FP/FN 变化全部存档，「越调越松」是最常踩的坑；③校准不是把分数抬上去——目标是 AI 判定与人工判定对齐而非分数好看，若低分样本校准后全变高分（橡皮图章），说明过头必须回退一档。
最后在流程之外：把裁判模型版本、评分标准、prompt、样本集全部纳入版本管理，让每次评测都能复现同一套口径。做到这一步，「打分偏严」和「跨模型判分不一致」就不再是每次评测都要重新吵的问题。这套方法源于我们在智能体测评一线的持续探索。
上海浦东软件平台有限公司软件测评实验室具备 CNAS 和 CMA 双重认可，近年积极参与国家及地方标准编制，并在多项测试能力验证中取得优异成绩。
测评技术中心作为浦软平台核心技术团队，长期深耕软件测试领域。随着大模型与智能体应用普及，中心已率先开展智能体测评业务，覆盖两大方向：智能体系统技术能力分级测评（规划、推理、工具调用、记忆等）和面向智能体应用的软件测评（功能、性能、安全、可靠性等）。
未来，浦软平台将继续秉承“合作、共享、按需、及时”理念，持续输出专业能力，与业界同行共同推动软件与人工智能产业高质量发展。如对智能体测评业务感兴趣，欢迎交流探讨。
上海浦东软件平台 成立于2002年，是赋能国家数字经济和数字化转型的国有重要支撑平台，平台先后被授予“国家软件与信息服务公共服务示范平台”“国家中小企业公共示范服务平台”等多项殊荣，并成功入选“上海市规上制造业企业数字化诊断服务商”以及首批“浦东新区中小企业数字化转型城市试点数字化诊断服务商”名单。
平台业务涵盖数字化诊断评估、软件成本度量及造价评估、信息化咨询与监理、软件测评与质量保障、数据服务与质量保障、知识产权与双软评估等，为各行业提供一站式、全方位的数字化全生命周期质量保障服务。
地址：上海市郭守敬路498号14号楼3层
客服热线：021-50801342