大数跨境

测了十年接口,为什么测不了 Agent?

测了十年接口,为什么测不了 Agent? 智测AI
2026-11-17
0
导读:传统测试的三大支柱正在失效——而破局点,恰恰握在测试人自己手里。



传统测试的三大支柱正在失效——而破局点,恰恰握在测试人自己手里。

本篇导读
一、确定性、可穷举、非对即错——传统测试三大支柱,在 Agent 面前全部动摇
二、Agent 测试不是「断言对不对」,而是对结果、轨迹、边界三层的概率化评估
三、文末附「测试概念迁移对照表」,十年技能一步平移到 AI 时代
研发负责人 · 周一 9:05
下周客服 Agent 上线,你们测试安排一下,周五前给个结论:能不能上。
你 · 十年老测试
没问题。接口文档、需求说明、验收标准发我,我先排用例。
研发负责人 · 周一 9:07
没有接口文档——它就是一个输入框。用户随便问,它自己决定调订单接口、查知识库还是直接回答。标准嘛……你先测测看多准吧。

如果这段对话你觉得眼熟,你不是一个人。最近两年,越来越多测试团队被同一件事击中:产品形态从「接口 + 页面」变成了「有自主决策能力的 Agent」,而我们用了十年的方法论,突然使不上劲了。

这篇文章回答两个问题:到底是哪里使不上劲?以及——为什么这反而是测试工程师的机会。

1.1 三根支柱,塌了

传统测试的所有体系都站在三根支柱上:确定性、可穷举、非对即错。写用例、设断言、跑回归,件件都依赖它们。而 Agent 恰恰把这三根支柱都动摇了。

支柱 01确定性失效断言无处安放
传统世界 同一请求发两次,响应报文一字节不差,assert equals 是基石。
Agent 世界 同一句话问两遍,措辞不同、调用顺序不同,甚至这次查库、下次「自信地编」。精确断言失去意义。
支柱 02路径不可预知用例难以穷举
传统世界 行为由代码分支决定,路径有限,判定覆盖、路径覆盖理论上都数得出来。
Agent 世界 推理路径是运行时「涌现」的:可能 3 步完成,也可能绕 10 步、死循环,或走出你从未设想的捷径。你无法为尚未发生的行为提前写用例。
支柱 03对错变成连续值布尔让位评分
传统世界 结果是布尔量:Pass / Fail,上线门禁清晰干脆。
Agent 世界 答案不是对错,而是有多好:相关性 0.82、任务成功率 76%。是非题变成打分题——那分数线画在哪?
我们不是不会测 Agent,而是手里的尺子,量的还是上一个时代的东西。
断言量的是「字节级一致」,而 Agent 需要的是「意图级正确」。
1.2 一段代码,道尽裂痕

上面还偏抽象?看看这两个「测试」的差别,裂痕一目了然。

示例 A|过去我们这样测
def test_refund_api():     
    resp = post("/api/refund", json={"order_id": "A1001"})                                                            assert resp.status_code == 200     
   assert resp.json()["status"] == "refunded"     # 一字不差,才算过
示例 B|Agent 时代这样测(以 DeepEval 为例)
def test_refund_agent():     
    output = agent.run("A1001 订单用户吵架要退款,帮我处理")      #     ① 答案像不像样 → 指标打分,而非逐字比对     
    assert_test(output, metrics=[AnswerRelevancyMetric(threshold=0.8)])      # ② 工具选对没有 → 校验确实查了订单、调了退款     
    assert_test(output, metrics=[ToolCorrectnessMetric(         
    expected_tools=["query_order", "refund"])])      # ③ 同一用例跑 N 次看成功率:10 次过 8 次 = 80%,     #    这叫任务成功率,而不是「过了」—— 概率系统的宿命

看出区别了吗:断言对象从「报文」变成了「行为」,判断方式从「精确匹配」变成了「指标 + 阈值 + 统计置信」。这不是工具的差别,是测试哲学的差别。

1.3 但测试的内核,并没有变

恐慌大可不必。剥掉外衣,Agent 测试回答的还是测试灵魂三问:做到了吗?过程对吗?代价多大?业界(Google、Anthropic 的工程实践,DeepEval、RAGAs 等工具的指标设计)已收敛出稳定的三层评估框架——这是本系列的主线地图:

第 1 层|结果层 OUTCOME
任务最终成功了没有?用可独立校验的环境状态裁决,不信「它说做完了」。对应指标:任务成功率、答案正确性、子目标完成度。
▲ 答案对了就够了吗?往下挖
第 2 层|轨迹层 TRAJECTORY
它是怎么做到的?工具选对了吗、参数对吗、有没有绕远路、死循环、幻觉调用。答案对但过程错 = 埋雷。对应指标:工具选择准确率、参数正确率、轨迹合理性、幻觉率、错误恢复。
▲ 过程也合理,代价呢?
第 3 层|效率与边界层 EFFICIENCY & BOUNDARIES
花了多少钱、多少步、多长时间?有没有越权、泄漏 PII、被注入带偏?这层决定能不能上生产。对应指标:单任务成本、时延、步数 / 循环率、越权率、安全合规、重跑一致性。
图 1-1 Agent 评估三层框架(本系列主线地图)

这套东西对测试人并不陌生——它就是「功能验证 + 流程审计 + 非功能测试」的 AI 时代翻译版。

1.4 技能平移:一张对照表带走

你最关心的可能是:十年积累有多少能带过去?答案是——几乎全部,只是换了名字。

传统测试概念

Agent 测评对应物
测试用例 / 用例库
→
评测数据集(Golden Set)
断言 assert
→
评估指标 + 阈值(Metric & Threshold)
预期结果 Expected
→
参考答案 / 参考轨迹
回归测试
→
CI 里的离线 Eval 门禁
线上巡检 / 拨测
→
线上 Trace 监控 + 指标打分
等价类 & 边界值
→
场景覆盖 + 对抗样本(注入 / 歧义 / 越界)
缺陷 Bug
→
失败模式(幻觉 / 工具误用 / 死循环 / 越权)
通过率 / 缺陷密度
→
任务成功率 / 幻觉率 / 一致性方差
表 1-1 测试概念向 Agent 测评的迁移对照
1.5 为什么这偏偏是测试人的机会

理由 01
「怀疑一切」的直觉最稀缺
算法工程师容易爱上自己的模型,测试人的本能是找它什么时候撒谎——幻觉、越权、注入,全在攻击面思维的射程内。
理由 02
工具门槛对测试人≈零
DeepEval 就是 pytest 写法,Promptfoo 就是 YAML 配用例。会写自动化脚本的人,一下午即可上手。
理由 03
质量话语权在重新分配
模型好不好不再只看榜单,而看业务场景的评测数据。谁掌握评测集,谁就握有上线话语权。
AI 不会淘汰测试,它淘汰的是「只会点点点、机械写用例」的测试方式。
而能从确定性思维切换到概率思维的测试人,正在成为团队里最懂 AI 质量的人。
下一篇预告
Agent 测评指标体系:别只盯着「最终答案对不对」
任务成功率 / 工具调用准确率 / 幻觉率 / 一致性方差……
6 大维度 20+ 指标,附可直接贴进测试计划的速查表。
关注本号 · 智测AI
Agent 测评实战专栏 · 第 1 篇
如果这篇戳中了你,欢迎转给正在发愁「AI 怎么测」的测试同行

【声明】内容源于网络
0
0
智测AI
专注AI与软件测试融合,探索智能测试前沿技术与实践。
内容 184
粉丝 0
智测AI 专注AI与软件测试融合,探索智能测试前沿技术与实践。
总阅读3.6k
粉丝0
内容184