01 · THE REAL PROBLEM
80% 的 Agent 项目死在生产,原因不是模型不好
做 AI Agent 的团队,几乎所有人都会说「我们做了 eval」。但 80-90% 的企业 Agent 项目最终无法稳定运行在生产环境。
这两件事同时为真,说明 eval 做了,但做错了层面。
解决这个问题需要一套专门针对 Agent Harness 的测试体系——不是替换 eval,而是在 eval 之上再建五层。一共六层,每一层测不同维度的可靠性。
02 · THE SIX LAYERS
六层测试栈总览:从地基到屋顶
先把全貌放出来,后面逐层展开。注意层 0 是整个体系的地基——跳过它,上面五层全部失效。
注意这个结构跟传统软件测试的分层思路高度一致——单元测试、集成测试、端到端测试。测试工程师换个对象,换个上下文,本质思路没有变。真正新的东西只有三个:层 0 的数据认证、层 4 的混沌工程,以及贯穿全局的「温度控制」策略。
03 · LAYER ZERO
第 0 层:数据验证——被忽略的地基
04 · LAYER ONE
第 1 层:单元测试——Harness 组件的隔离验证
05 · LAYER TWO & THREE
第 2 层:集成测试 · 第 3 层:端到端模拟
集成测试层 · Integration Testing
06 · LAYER FOUR · CORE
第 4 层:混沌工程——主动找到 Harness 的极限
07 · LAYER FIVE
第 5 层:CI/CD 回归——让每次变更都经过六层检验
08 · HARNESS-SPECIFIC TACTICS
三个 Harness 测试专属策略
除了六层结构,还有三个 Agent 测试特有的策略,值得单独说清楚:
09 · METRICS
关键指标速查:怎么判断 Harness 测试够不够好
这张表最后一行值得单独强调:混沌测试用例的数量应该是持续增长的。如果这个数字长期不变,只有两种可能——要么你的 Agent 系统已经完美无缺(不可能),要么你的混沌测试根本没有认真在跑(大概率)。

