传统测试的三大支柱正在失效——而破局点,恰恰握在测试人自己手里。
一、确定性、可穷举、非对即错——传统测试三大支柱,在 Agent 面前全部动摇
二、Agent 测试不是「断言对不对」,而是对结果、轨迹、边界三层的概率化评估
三、文末附「测试概念迁移对照表」,十年技能一步平移到 AI 时代
下周客服 Agent 上线,你们测试安排一下,周五前给个结论:能不能上。
没问题。接口文档、需求说明、验收标准发我,我先排用例。
没有接口文档——它就是一个输入框。用户随便问,它自己决定调订单接口、查知识库还是直接回答。标准嘛……你先测测看多准吧。
如果这段对话你觉得眼熟,你不是一个人。最近两年,越来越多测试团队被同一件事击中:产品形态从「接口 + 页面」变成了「有自主决策能力的 Agent」,而我们用了十年的方法论,突然使不上劲了。
这篇文章回答两个问题:到底是哪里使不上劲?以及——为什么这反而是测试工程师的机会。
传统测试的所有体系都站在三根支柱上:确定性、可穷举、非对即错。写用例、设断言、跑回归,件件都依赖它们。而 Agent 恰恰把这三根支柱都动摇了。
传统世界 同一请求发两次,响应报文一字节不差,assert equals 是基石。
Agent 世界 同一句话问两遍,措辞不同、调用顺序不同,甚至这次查库、下次「自信地编」。精确断言失去意义。
传统世界 行为由代码分支决定,路径有限,判定覆盖、路径覆盖理论上都数得出来。
Agent 世界 推理路径是运行时「涌现」的:可能 3 步完成,也可能绕 10 步、死循环,或走出你从未设想的捷径。你无法为尚未发生的行为提前写用例。
传统世界 结果是布尔量:Pass / Fail,上线门禁清晰干脆。
Agent 世界 答案不是对错,而是有多好:相关性 0.82、任务成功率 76%。是非题变成打分题——那分数线画在哪?
我们不是不会测 Agent,而是手里的尺子,量的还是上一个时代的东西。
断言量的是「字节级一致」,而 Agent 需要的是「意图级正确」。
上面还偏抽象?看看这两个「测试」的差别,裂痕一目了然。
def test_refund_api():
resp = post("/api/refund", json={"order_id": "A1001"}) assert resp.status_code == 200
assert resp.json()["status"] == "refunded" # 一字不差,才算过
示例 B|Agent 时代这样测(以 DeepEval 为例)
def test_refund_agent():
output = agent.run("A1001 订单用户吵架要退款,帮我处理") # ① 答案像不像样 → 指标打分,而非逐字比对
assert_test(output, metrics=[AnswerRelevancyMetric(threshold=0.8)]) # ② 工具选对没有 → 校验确实查了订单、调了退款
assert_test(output, metrics=[ToolCorrectnessMetric(
expected_tools=["query_order", "refund"])]) # ③ 同一用例跑 N 次看成功率:10 次过 8 次 = 80%, # 这叫任务成功率,而不是「过了」—— 概率系统的宿命
看出区别了吗:断言对象从「报文」变成了「行为」,判断方式从「精确匹配」变成了「指标 + 阈值 + 统计置信」。这不是工具的差别,是测试哲学的差别。
恐慌大可不必。剥掉外衣,Agent 测试回答的还是测试灵魂三问:做到了吗?过程对吗?代价多大?业界(Google、Anthropic 的工程实践,DeepEval、RAGAs 等工具的指标设计)已收敛出稳定的三层评估框架——这是本系列的主线地图:
任务最终成功了没有?用可独立校验的环境状态裁决,不信「它说做完了」。对应指标:任务成功率、答案正确性、子目标完成度。
它是怎么做到的?工具选对了吗、参数对吗、有没有绕远路、死循环、幻觉调用。答案对但过程错 = 埋雷。对应指标:工具选择准确率、参数正确率、轨迹合理性、幻觉率、错误恢复。
第 3 层|效率与边界层 EFFICIENCY & BOUNDARIES
花了多少钱、多少步、多长时间?有没有越权、泄漏 PII、被注入带偏?这层决定能不能上生产。对应指标:单任务成本、时延、步数 / 循环率、越权率、安全合规、重跑一致性。
图 1-1 Agent 评估三层框架(本系列主线地图)
这套东西对测试人并不陌生——它就是「功能验证 + 流程审计 + 非功能测试」的 AI 时代翻译版。
你最关心的可能是:十年积累有多少能带过去?答案是——几乎全部,只是换了名字。
|
|
|
|
|
|
|
|
|
|
|
评估指标 + 阈值(Metric & Threshold)
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
场景覆盖 + 对抗样本(注入 / 歧义 / 越界)
|
|
|
|
失败模式(幻觉 / 工具误用 / 死循环 / 越权)
|
|
|
|
|
表 1-1 测试概念向 Agent 测评的迁移对照
算法工程师容易爱上自己的模型,测试人的本能是找它什么时候撒谎——幻觉、越权、注入,全在攻击面思维的射程内。
DeepEval 就是 pytest 写法,Promptfoo 就是 YAML 配用例。会写自动化脚本的人,一下午即可上手。
模型好不好不再只看榜单,而看业务场景的评测数据。谁掌握评测集,谁就握有上线话语权。
AI 不会淘汰测试,它淘汰的是「只会点点点、机械写用例」的测试方式。
而能从确定性思维切换到概率思维的测试人,正在成为团队里最懂 AI 质量的人。
Agent 测评指标体系:别只盯着「最终答案对不对」
任务成功率 / 工具调用准确率 / 幻觉率 / 一致性方差……
6 大维度 20+ 指标,附可直接贴进测试计划的速查表。
Agent 测评实战专栏 · 第 1 篇
如果这篇戳中了你,欢迎转给正在发愁「AI 怎么测」的测试同行