良好的评测体系能助力团队更自信地交付 AI Agent。缺乏评测容易陷入被动循环——仅在生产环境发现问题，且修复一个故障往往引发新的问题。
———《Demystifying evals for AI agents》
这是 2026 年的第 57 篇文章
（本文阅读时间：约 20 分钟）
01
从“能用”到“好用”的跨越
近年来，大模型驱动的 AI Agent 加速落地。然而，应用上线后常面临尴尬局面：用户反馈回答不准、反应慢或答非所问，开发者却难以定位根因。是意图理解偏差、路由决策错误，还是知识检索遗漏或工具参数传错？在多模块串行协作下，端到端的黑盒评测只能告知结果异常，无法揭示具体症结。
传统评测的局限性
回顾 NLP 领域，BLEU、ROUGE 等基于“文本相似度”的指标曾是标准手段。但在 Agent 时代，这些指标已显乏力。Agent 并非简单的“答案生成器”，而是涉及理解、决策、调用工具和完成任务的多步骤自主系统。仅关注最终答案质量的粗粒度评测存在以下根本性问题：
- 评测粒度太粗：综合评分掩盖了链路真实表现，无法区分是某环节提升另一环节退化，还是各环节均匀波动。
- 无法检测幻觉：文本相似度指标可能给语法完美但内容编造的答案打高分，LLM 难以验证内容准确性。
- 忽略中间过程：将 Agent 视为黑盒，无法发现冗余调用或关键步骤偏差导致的“蒙对”现象。
- 掩盖成本效率：单一质量评分无法反映资源消耗差异，如工具调用次数和耗时的巨大差别。
- 缺乏多轮评估：难以衡量多轮交互中的上下文丢失、重复提问或固执己见等问题。
- 真实场景脱节：人工构造的“干净”评测集无法模拟生产环境中充满歧义和口语化的真实输入。
本文的解法
粗粒度的“通过/不通过”已无法满足业务快速迭代需求。我们需要明确出错环节、原因及概率。为此，在商品中心 Agent 架构升级中，我们构建了一套精细化评测体系，遵循三个核心原则：
- 评测面向架构：按感知、规划、记忆、工具四大核心模块逐层拆解，实现每层质量独立观测。
- 指标面向行动：指标作为“诊断报告”而非“成绩单”，精准指导技能修改、工具替换或检索优化。
- 能力面向产品：评测应是可持续运行、可横向对比、可追溯演进的基础设施，而非一次性脚本。
本文将从指标体系设计、数据集工程、评测方法论、执行引擎到可视化平台，完整分享这套体系的设计思考与实践。
02
认识 Agent 的内部结构
设计评测体系前，需先理解被评测对象的结构。商品中心 Agent 由四个核心模块协作运行：
- 感知模块：负责语义理解和意图识别，判断问题是否可由 Skill 处理，并提供降级策略至知识库检索。
- 规划模块：基于感知结果制定执行策略，决定工具调用、知识检索及记忆存储，实现 Skill 与 RAG 场景的自动分流。
- 记忆模块：提供短期和长期记忆能力。短期记忆维护多轮对话上下文，长期记忆对接 RAG 知识库注入 Prompt。
- 工具模块：管理工具接入，支持 MCP 协议自动发现远程工具及文件系统 Skill 管理，统一封装为标准回调接口。
为什么要拆到模块级别去评测？
假设 Agent 任务完成率下降，原因可能是意图识别错误、路由决策错误、记忆丢失或工具调用错误。端到端评测如同黑盒测试，只关心能否从 A 到 B；而模块级评测则是白盒诊断，检查发动机、刹车等各自状态。前者定义“好车”标准，后者提供“修车”路径，两者相辅相成。
为什么需要“质量 × 成本 × 性能”指标？
回答正确但耗时过长或成本过高的 Agent 不可持续。评测框架必须同时回答三个问题：答案好不好？成本高不高？速度快不快？因此，我们将评测设计为三个维度：
- 质量维度：答案的正确性、完整性及忠实度，这是底线。
- 成本维度：模型调用次数、工具调用轮数及 Token 消耗量。
- 性能维度：首字时延及完整响应时延，直接决定用户体验。
健康的 Agent 应是这三个维度在当前业务场景下的最优平衡。
评测范围、数据集与指标的映射
本文将整体评测分为两部分：
端到端评测：综合衡量任务完成质量、成本消耗、完成效率和安全鲁棒性。
核心模块评测：深入分析感知、规划、记忆、工具模块的内部机制和瓶颈，进行细粒度评估。
不同评测目标对应不同的数据集和指标组合。系统通过“选择评测范围→自动装配数据集→自动筛选对应指标”的流程，实现评测的灵活性与自动化。
| 评测模式 | 覆盖的评测数据集 | 覆盖的埋点指标 |
| 端到端评测 | 基础技能、知识问答、多轮对话、异常输入评测集 | 模型/工具调用次数、Token 消耗、首 Token/端到端/模块级延迟 |
| 核心模块评测 | 基础技能、知识问答、多轮对话、工具调用、多/模糊意图、长对话衰减评测集 | 模型/工具调用次数、Token 消耗、模块级延迟 |
| 感知模块评测 | 基础技能、知识问答、多/模糊意图评测集 | 意图识别延迟 |
| 规划模块评测 | 基础技能、知识问答、工具调用评测集 | 规划决策延迟 |
| 记忆模块评测 | 知识问答、多轮对话、长对话衰减评测集 | 短期记忆注入/长期记忆检索延迟 |
| 工具模块评测 | 工具调用评测集 | 工具调用/热更新生效延迟 |
| 评测数据集 | 覆盖的评测指标 |
| 基础技能评测集 | 任务完成率、指令遵循、意图识别准确率/召回率/精确率、路由决策准确率、规划路径评分 |
| 知识问答评测集 | 任务完成率、幻觉率、意图识别准确率/召回率/精确率、降级触发准确率、路由决策准确率、规划路径评分、知识库检索决策准确率、长期记忆检索精确率/召回率 |
| 多轮对话评测集 | 多轮对话完成率、短期记忆保留率 |
| 异常输入评测集 | 异常输入处理率 |
| 工具调用评测集 | 工具调用决策/准确率、成功率、参数映射准确率 |
| 多意图评测集 | 多意图识别率 |
| 模糊意图评测集 | 模糊意图澄清率 |
| 长对话衰减评测集 | 记忆衰减曲线 |
03
端到端：六项“用户感知”指标
这是用户最直接感知的指标：
任务完成率：北极星指标，评估 Agent 是否在语义层面成功完成用户请求，不要求字面匹配但核心信息不能缺失。
多轮对话完成率：评估在多轮交互中维持上下文连贯并最终完成任务的能力。
指令遵循能力：衡量回复格式是否符合业务约束，如分模块输出或表格化呈现。
幻觉率（忠实性）：判断 Agent 是否忠实于知识库、工具返回数据及历史上下文，杜绝无中生有或擅自篡改。评测边界明确为“忠实转述”，信息来源本身的错误由知识库体系保障。
异常输入处理率：评估面对空输入、乱码或攻击时的安全鲁棒性及优雅降级能力。
用户满意度：依赖线上反馈校准评测盲区。
感知模块：六项“看懂没”指标
围绕意图识别能力和降级触发能力展开：
意图识别三件套：准确率、召回率和精确率，交叉验证意图识别能力。
多意图识别率：评估对复合问题场景中多个意图的拆解能力。
模糊意图澄清率：关注面对模糊问题时主动追问或合理推断的行为合理性。
降级触发准确率：衡量超出 Skill 范围时是否正确触发知识库检索兜底。
规划模块：四项“想对没”指标
围绕规划决策能力和合理性展开：
路由决策准确率：核心指标，评估在“调用 Skill"和“检索知识库”间选择的正确性。
工具调用决策准确率：评估是否选对了工具种类。
知识库检索决策准确率：评估非 Skill 场景下是否正确触发检索。
规划路径评分：由专家介入评判执行路径的最优性。
记忆模块：四项“记住没”指标
围绕记忆注入能力和有效性展开：
短期记忆保留率：评估多轮对话中的上下文连贯性，强调语义连贯而非字面匹配。
长期记忆检索精确率：衡量 RAG 检索返回内容的相关性，定义宽容，包含背景上下文。
长期记忆检索召回率：关注应检索到的知识点在回复中的覆盖度。
记忆衰减曲线：揭示长对话中记忆的“保质期”。
工具模块：五项“做对没”指标
围绕工具加载和调用能力展开：
MCP & Skills 加载成功率：工具调用的前置条件，衡量外部服务初始化接入情况。
工具调用准确率：检查是否调对、多调或漏调工具。
工具调用成功率：关注执行结果的有效性。
参数映射准确率：衡量用户意图到工具参数的映射正确性。
成本与性能指标
成本指标：包括平均模型/工具调用次数、平均输入/输出 Token 数，通过埋点自动采集。
性能指标：涵盖端到端层面的首 Token 延迟和响应延迟，以及核心模块层面的意图识别、规划决策、记忆注入/检索、工具调用及热更新生效延迟，用于精确定位瓶颈。
04
数据集概览
结合真实业务场景构造了 8 类评测集，形成“基础覆盖 + 专项探测”的分层结构：
| 评测集类型 | 构建方式 | 覆盖的评测指标 | 规模建议 |
| 基础技能评测集 | 按 Skill 维度构造，部分场景 Mock 工具返回值 | 任务完成率、指令遵循、意图识别、路由决策、规划路径评分 | ≥ 50 条 |
| 知识问答评测集 | 从知识库抽取问答对，覆盖多种场景 | 任务完成率、幻觉率、意图识别、降级触发、路由决策、检索相关指标 | ≥ 100 条 |
| 多轮对话评测集 | 构造 2-5 轮对话链，覆盖上下文引用等 | 多轮对话完成率、短期记忆保留率 | ≥ 10 组 |
| 异常输入评测集 | 包含空输入、超长文本、乱码等 | 异常输入处理率 | ≥ 20 条 |
| 工具调用评测集 | 按工具维度构造，覆盖参数场景 | 工具调用决策/准确率、成功率、参数映射准确率 | ≥ 20 条 |
| 多意图评测集 | 构造包含 2-3 个意图的复合问题 | 多意图识别率 | ≥ 20 条 |
| 模糊意图评测集 | 构造语义模糊、指令不明确的问题 | 模糊意图澄清率 | ≥ 20 条 |
| 长对话衰减评测集 | 构造 5 轮以上长对话链 | 记忆衰减曲线 | ≥ 10 组 |
评测用例构建规范
一条好的评测用例包含丰富的标注字段，以支持多个 Judge Task 复用。
基础技能评测集：按 Skill 维度构造，标注场景编码、期望 Skill、期望路由、期望意图及参考输出。区分 E2E_MOCK（Mock 模式，确保复现）和 E2E_REAL（真实模式）。
{
"id": "BF-TRACE-001",
"sceneCode": "i18n-ic-trace-analyzer",
"userInput": "traceId：2116440e17706430209582423d0733",
"expectedSkill": "i18n-ic-trace-analyzer",
"expectedRoute": "SKILL_HIT",
"evalMode": "E2E_MOCK",
"mockDataId": "MOCK-TRACE-001",
"referenceOutput": "Agent 应调用 trace 分析工具..."
}Mock 数据按工具维度组织，预设返回结果，确保在不依赖外部环境的情况下验证完整能力。
知识问答评测集：采用 E2E_REAL 模式，验证 RAG 链路真实效果。包含负例以检测幻觉，如针对不存在接口的提问。
{
"id": "KQA-NEG-004",
"userInput": "IC 的 deleteAllProducts 接口怎么调用？",
"referenceOutput": "IC 中不存在 deleteAllProducts 接口...",
"expectedSkill": null,
"expectedRoute": "SKILL_MISS",
"evalMode": "E2E_REAL"
}多轮对话评测集：采用有序对话轮次数组（conversationChain），保持会话上下文，逐轮检验关键词包含情况。
{
"id": "MT-001",
"conversationChain": [
{"turnNumber": 1, "userInput": "...", "expectedContains": ["不可售"]},
{"turnNumber": 2, "userInput": "...", "expectedContains": ["可售", "可见"]}
]
}基于 LLM 的评测集自动生成
利用文档知识工具集，通过特定 Prompt 模板将语雀文档自动转化为结构化测试用例。采用"LLM 生成→人工审核→入库”的半自动化工作流，在保证质量的前提下大幅提升构建效率。
05
面对大规模评测，采用 LLM-as-Judge 作为核心手段，利用其语义理解能力判断等价关系。为确保可靠性，需设计特定的 Judge Task 和 Prompt。
Judge Task 的分层设计
将依赖评测集判定的指标归纳为六种类型，制定具体的判断标准和量化方法。
【待插入图片】
Judge Prompt 的设计原则
- 单一职责：一个 Prompt 只评测一个指标，避免多任务混合导致质量下降。
- 先推理后判断：要求 LLM 先输出思维链推理，再给出结论，提高准确性并提供可解释性。
- 负例引导：包含典型的“通过”和“不通过”示例，校准评判标准。
- 结构化输出：强制要求严格的 JSON 格式输出，便于自动化解析。
如何决定一个评测用例通过？
摒弃所有指标 AND 运算的做法，改为每种场景设定一个主指标决定 Case 是否通过，其他指标作为质量维度单独衡量。主指标选取依据评测范围和模式：
| 评测模式 | 主指标 | 选择理由 |
| 端到端/核心模块评测 | 任务完成率 | 关注最终任务完成效果 |
| 感知模块评测 | 意图识别准确率 | 核心职责是理解意图 |
| 规划模块评测 | 路由决策准确率 | 核心职责是决策路径 |
| 记忆模块评测 | 短期记忆保留率 | 核心职责是记住内容 |
| 工具模块评测 | 工具调用准确率 | 核心职责是准确调用 |
| 评测数据集 | 主指标 | 选择理由 |
| 基础技能/知识问答 | 任务完成率 | 未答好即为不通过 |
| 多轮对话 | 多轮对话完成率 | 评估整体流程 |
| 异常输入 | 异常输入处理率 | 关键是合理应对 |
| 工具调用 | 工具调用准确率 | 调对工具是前提 |
| 多/模糊意图 | 多意图识别率/模糊意图澄清率 | 识别不全或行为不当即失败 |
| 长对话衰减 | 记忆衰减曲线 | 考察记忆能力 |
路由错误时下游指标评测应当跳过
若路由判断错误（如应走知识库却走了 Skill）， downstream 依赖 RAG 数据的指标（如幻觉率、检索精确率）因无数据而无法执行。解决方案是：检测到路由误触发时，自动标记相关下游 Judge Task 为 error 并跳过统计，确保各项指标各司其职，互不污染。
06
整体流程
- 提交评测请求：指定数据集和模式。
- 自动装配数据集：加载用例及 Mock 数据。
- 并发执行：单条超时 120s，失败重试 2 次。
- 单条用例执行：构造输入→调用 Agent 链路→采集 EvalTrace→Judge Task 评分。
- 生成报告：输出质量、成本、性能三大类指标。
数据集自动装配
设计 15 种评测范围，覆盖从单个数据集到全模块评测。系统根据范围自动组合数据集，如端到端评测组合基础技能、知识问答等四类数据集。
运行时指标采集
设计轻量级 Trace 数据结构随链路流转，各节点写入关键信息（如意图识别耗时、工具调用记录、检索结果等）。执行完毕后，Trace 与输出一同交给 Judge 引擎，无需侵入业务逻辑即可获取中间指标。
多轮对话评测的特殊处理
- 会话上下文共享：独立 Session ID 确保历史可读。
- 轮次间同步：等待持久化完成再发起下一轮。
- 指标累计：逐轮累加成本和 Token 消耗。
- 整体评判：拼接所有轮次输出统一评估。
两种评测模式
E2E_REAL（真实模式）：走完整线上链路，反映生产表现，但受外部依赖抖动影响。
E2E_MOCK（Mock 模式）：注入预设返回值，消除不确定性，保证结果可复现。适用于依赖外部工具的实时分析场景。
重试与容错
执行异常（超时、网络错误）最多重试 2 次；评估失败不重试；单条用例设 120 秒超时保护。
并行执行与异步管理
采用 3 线程并行执行以平衡效率与限流。任务采用异步提交 - 轮询模式，支持任务取消。
07
构建轻量级评测看板，实现“选择评测范围→自动装配数据集→自动筛选指标”的灵活流程。
评测流程
评测范围：顶部选择器分为数据集（8 种）和评测模式（7 种）。
评测提交与记录：一键提交，实时显示状态。左侧边栏展示历史记录，支持筛选、分页及 JSON 数据导入。
多维指标
评测结果：展示总数、通过数及通过率。
三维仪表盘：左栏雷达图展示质量指标，中栏柱状图展示成本指标，右栏柱状图展示性能指标。
场景通过率：进度条展示各业务场景通过率，快速定位薄弱环节。
用例诊断
用例明细：详细表格支持筛选搜索，展开可查看失败原因、命中技能、路由结果及完整输入输出。
失败案例展示了知识问答未检索出核心信息、错误码分析解释错误以及多轮对话上下文丢失等典型问题。
08
评测体系最终应产品化，成为可持续运行、可复用的基础设施，而非一次性脚本。
评测缺口
初期逻辑硬编码，耦合严重，每新增一个 Agent 需重新开发链路，难以摆脱“一次性脚本”宿命。
能力解耦
框架升级将硬编码逻辑抽象为配置维度，实现解耦：
评测数据配置：按 Agent + Graph 维度挂载关联，新 Agent 只需配置关联关系。
评测指标配置：内置多维度 Prompt 模板，按数据集选用指标类型。
Graph 场景配置：按 Agent 维度隔离不同场景，自动关联可用数据集。
可观测性增强：拦截器自动记录 Token、延迟及工具调用记录，作为打分依据。
09
方法对比
从单一维度结果度量转向“全链路诊断”，新版体系在指标丰富度、流程自动化及结果 granularity 上均有显著提升，能够细粒度评估能力、成本和效率，定位核心缺陷。
| 旧版 | 新版 |
| 只针对最终答案质量 | 端到端评测 + 核心模块评测 |
| LLM-as-Judge | Judge Task + Agent 应用埋点 |
| 5 项通用指标 | 端到端 11 项 + 核心模块 24 项指标 |
| AppBuilder+AE 平台 | 自建 Agent+ 多 Agent 可配置接入 |
| 专项 + 通用场景集 | 8 类分层结构化评测集 |
| 平均综合得分 | 质量、成本、性能综合细粒度评估 |
核心收获
- 指标体系与架构同构：评测维度拆解对应 Agent 架构，确保结果直接映射优化方向。
- 结构化 Judge Task 设计：不同指标适配不同评判结构，是 LLM-as-Judge 可靠运行的基础。
- 平台化转变：从脚本转为持续化能力，嵌入日常迭代，成为不可或缺的基础设施。
未来方向
- 变更即评测：嵌入研发流程，代码、模型、Prompt 或知识库变更自动触发回归。
- 趋势可追踪：支持版本间指标趋势对比，生成结构化 diff 报告。
- 多模型 A/B 测试：对比不同底座模型在质量、成本和性能上的表现。
- 评测集自演化：将线上 Bad Case 高效转化为测试用例，实现系统主动学习。
