演示的时候,你坐在屏幕前看它一步步操作,出问题随时能拦。上线之后,没有人在旁边了——任务失败,你看到的只是一个「没成功」。中间发生了什么、卡在哪一步、为什么这么选,全都看不见。这篇讲的就是怎么把这个黑箱打开:智能体的可观测性。
一、Demo 与生产之间,隔着一次「看不见」
可观测性这个词听起来像运维术语,放在智能体身上,它的意思很具体:在不打扰系统运行的前提下,能不能还原它做了什么、为什么这么做。
为什么这件事比传统软件更紧要?因为传统服务的失败通常有明确的现场——一行报错、一个堆栈、一条慢查询。而智能体失败时,你拿到的往往只是一句「任务未完成」。它是一个连续做对了很多步之后,在某一步悄悄走偏的系统。
二、智能体为什么特别难观测
◦︎ 多步:一个任务动辄几十次模型调用与工具调用,任何一步都可能是问题源
◦︎ 非确定性:同样的输入,两次执行的路径可能不同,没法靠「复现一遍」定位问题
◦︎ 外部副作用:它不只是读,还会写——改数据、发邮件、下单。错了不是重跑一次,而是要收尾
这三点叠加,意味着传统「看日志找报错」的方法基本失效。你必须记录过程,而不只是结果。
三、需要留下的四类痕迹
完整记录一切既贵又没意义。实际落地时,有四类痕迹的性价比最高。
◦︎ 轨迹:每一步的输入输出、调用了哪个工具、参数是什么、耗时多久
◦︎ 决策依据:为什么选这个工具、当时检索到了哪些资料——也就是那一步的上下文快照
◦︎ 状态与预算:已用步数、token、费用,是否触发了熔断或降级
◦︎ 副作用清单:对外部世界做了什么写操作,能不能回滚
第三类最容易被忽略,但它决定了成本问题能不能被发现;第四类最容易被低估,等到需要回滚时才发现没记,代价是全量人工排查。
四、三个问题检验你的可观测性
堆日志不等于可观测。用三个问题测一下,基本能判断水平。
◦︎ 出了错,能不能在五分钟内定位到具体哪一步?
◦︎ 它做的事,能不能向客户或审计人员解释清楚?
◦︎ 同样的输入,能不能按记录重放一遍?
三个问题里,最后一个最能暴露问题。不能重放的系统,所有问题都只能靠猜。
五、看见之后:从观测到干预
观测本身不产生价值,它服务于三个动作:调试、审计、优化。而在这之上,还有一类更主动的能力——干预。
◦︎ 断点暂停:高风险动作前停下来,交给人确认再继续
◦︎ 回放重跑:按 trace 重放某个任务,用于验证修复是否生效
◦︎ 影子模式:让新版本并行跑但不真正生效,只比较两者路径差异
◦︎ 告警:失败率突增、出现循环、调用到高危工具时主动通知
其中影子模式被低估得最多。它让你在零风险的前提下,看到新版本会在哪些任务上偏离老版本——这比任何离线评估都更接近真实。
六、一份最小可行的落地清单
|
|
|
|
|---|---|---|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
这份清单不需要一次做全。先做第一条和第二条,绝大多数「不知道它为什么失败」的问题就能回答;再加上第五条,剩下的问题就有了验证手段。
七、结语:看不见的系统不会被交出去
可观测性常被当成上线之后才考虑的运维附属品。但对智能体来说,它是能不能被信任的前提——因为它的失败往往是安静的、渐进的、不带报错的。
一个能被看见、能被解释、能被重放的智能体,才谈得上被放心地交给它做事。看不见的黑箱,无论多聪明,都只能停留在演示阶段。

