编者摘要:基于 Viktor AI 员工搭建智能体评估值守体系的实践:模型只是引擎,Harness(评估底座)包含上下文、工具、执行循环、评估用例、规则、人工交接六大模块,是让 Agent 可靠落地的整套体系。智能体迭代时极易出现隐性指标下滑,人工持续巡检重复枯燥、风险最高的变更往往缺少校验。作者给 Viktor 下达清晰岗位 SOP:凌晨 2 点自动执行 412 条评估用例,对比历史结果,区分真实退化 bug 与不稳定抖动用例,生成晨间报告并提交修复 PR;核心红线:禁止 AI 自行合并修改,所有变更等待人类审批。工作流为:白天人类迭代 Agent、夜间 AI 巡检诊断、早上人类审批 PR。AI 负责执行、比对、诊断、起草方案;人类负责框架设计、业务定义与最终决策。这套模式不局限于回归测试,所有高频、标准化、需要细致核查的重复性工作都可以复用该人机分工框架。
10个关键问题Q&A
- Q:文中 Harness 评估底座到底是什么?
A:模型之外整套配套体系,把大模型原始输出变成可信业务智能体,由上下文、工具、循环、评估、规则、人工交接 6 部分组成。 - Q:为什么 Agent 评估需要 “夜班值守”?
A:Agent 每次修改提示词 / 规则容易产生隐性劣化,不会崩溃报错,只有评估分数悄悄下滑;人工巡检容易遗漏高风险变更。 - Q:Viktor AI 员工核心约束规则是什么?
A:严禁自行合并、修改任何内容;只做诊断、出方案、提交 PR,所有关键变更必须等待人类审批。 - Q:回归 bug(regression)和 flaky 抖动测试区别?
A:回归 bug 是智能体逻辑本身损坏,需要修复;抖动是外部超时、随机种子等环境问题,不一定需要改 Agent 代码。 - Q:AI 在这套流程里具体会产出什么?
A:晨间汇总报告、根因分析、修复 PR、新增配套测试用例,同时单独标记不稳定用例。 - Q:人类保留哪些不可移交的工作?
A:评估底座搭建、业务逻辑定义、PR 审批、疑难抖动用例判定、智能体迭代方向决策。 - Q:这套方案只适合 Agent 评估回归测试吗?
A:不是,任何周期性、标准化、需要仔细阅读核查的重复性工作都可以套用这套模式。 - Q:把工作交给 AI 员工的前提条件是什么?
A:能写出清晰、无歧义的岗位说明书,明确时间、输出物、边界、禁止行为与上报规范。 - Q:这套人机闭环带来什么核心收益?
A:评估稳定执行,高风险变更不漏检;人类从海量日志中解放,只聚焦少量关键决策。 - Q:快速上手部署 Viktor 的关键步骤?
A:接入 Slack/Teams、绑定代码仓库、新建报告频道、下发岗位指令、提前核对调度与报告模板、每日审批 PR。
模型是引擎,评估框架(harness)是整套作业体系。我把夜班交给了我的 AI 员工。
“严禁自行合并、擅自修改任何内容”,这句话是我最看重的一条指令,而它也被 AI 严格照字面执行。
它读取信息、对比结果、定位问题、撰写修复方案。最终决定权在我手里。三份 PR(代码变更请求)一直停留在「等待审批」状态,直到我点开确认。
这就是 Viktor 的设计思路:所有关键操作,都必须等待人类确认。它可以准备好一切,但无权直接上线落地。 每天凌晨 2 点,会有人在我的智能体评估框架里跑完全部 412 组评估用例,逐条查看失败记录,并和前一晚的结果做对比。
Viktor @SpaceXSI 已有 7 万多支团队聘用的 AI 员工,现已接入 Grok 4.7。
我花了好几个月围绕智能体搭建这套评估框架:上下文、工具集、执行循环、评估用例、规则约束。这部分是我喜欢做的事。
但我一直很头疼后续工作:日复一日跑完整套评估集,点开每一条失败记录,判断是我前一天修改提示词搞坏了逻辑,还是单纯测试超时抖动。
搭建框架属于创造;反复巡检只是一份轮班工作。所以我雇了一个员工来做。
它叫 Viktor,常驻在我们的 Slack 里,可对接 9800 + 工具,已经服务 7 万多个团队。在我的项目里,它只有一项任务:夜间评估巡检。
评估框架由我搭建,每晚由它执行巡检;所有重大决策依旧由我拍板。
本文内容: 什么是评估框架,为什么它需要夜班值守 很少有人聊起来的枯燥苦活 我发给它的岗位说明 它的初次回复 第一份晨间报告逐段解读 我如何保留决策权 带来了哪些改变 手把手教你搭建一套
1. 什么是评估框架(harness)
模型是引擎,评估框架是整车。
一台孤零零放在台面上的引擎无法载你去往任何地方。你需要车架、方向盘、刹车,还有仪表盘,用来及时告警异常。评估框架就是模型之外的整套配套体系,把大模型原始输出,变成一个可以交付真实业务、值得信任的智能体。
我的评估框架分为六大模块:
上下文:智能体启动前的已知信息 —— 系统提示词、各工具调用规则、历史会话记忆 工具集:可调用能力,例如订单查询、发票解析、日历、CRM、邮箱、网页搜索 执行循环:制定计划 → 调用工具 → 读取返回结果 → 决定下一步动作 评估用例:412 组测试,每组得分区间 0–1 分 禁令规则:绝对不能执行的动作,例如查询订单之前,不允许直接发起退款 人工交接点:触发条件时自动暂停,向人类求助
前五个模块让智能体跑起来;评估用例用来确认它还能不能正常工作。
而评估标准很容易失效。不是测试用例本身坏了,而是智能体本身一直在迭代变化。
下午我改了一句提示词,修复了一条业务流程,另一条流程却悄悄劣化;调整工具描述,智能体就会漏掉原本固定执行的步骤。程序不会崩溃,没有报错日志,只是评估分数悄悄下滑。
如果没人跑评估、复盘结果,最后发现问题的,就是终端用户。
2. 没人愿意聊的枯燥苦活
所有人都热衷于搭建评估框架,但几乎没人愿意长期运维巡检。
一晚完整的评估巡检,实际要做这些事:
执行全套 412 组测试 打开每一条失败记录,而不是只看失败总数 将每条得分与前一晚对比 判断:是真实功能退化,还是测试偶发抖动(flaky test) 如果是功能退化,定位根因:提示词改动 / 工具规则变更 / 数据源变化 撰写修复方案、补充新增测试用例,防止问题复现 次日复测,确认修复生效
这些操作没有难度,但是极度耗时。而且必须每天做 —— 智能体每天都在调整变动。
以前是我自己跑评估:只有有空的时候才执行。偏偏我改动智能体最多、风险最高的日子,也是我最没时间跑评估的时候。风险最高的变更,反而缺少校验。
这不是一次性任务,这是一份固定岗位。
于是我写了一份岗位说明。
3. 岗位说明
我写得就像给一名新员工的入职交底,没有特殊语法、没有提示词花招,就是一条 Slack 消息:https://x.com/N01ennn/article/2116195115085463859/media/2116142773577371648
每一句话都有目的:
“每天凌晨 2 点执行”:选在没人修改代码和配置的时段,保证评估分数干净稳定 “逐条阅读失败记录”:通过率只能告诉你出问题了;只有失败详情才能告诉你哪里出问题 “和前一晚结果对比”:单独一个 0.79 分没有意义;昨天 0.88、今天掉到 0.79,才是危险信号 “早上 8 点前出报告”:我上班的时候报告已经就绪,而不是等我想起才去查看 “修复方案以 PR 形式提交”:我要看可比对的代码差异,而不是一大段文字描述 “严禁自行合并、擅自修改任何内容”:评估框架归我掌控,它只负责干活,无权替我决策 “分开标记抖动用例”:超时抖动和真实 bug,处理逻辑完全不同;混在一起会让评估体系失去可信度
如果你没法把岗位要求写得这么清晰,那你还没准备好把这项工作交给任何人 —— 不管是人还是 AI。
4. 它的初次回复
消息发出去一分钟: https://x.com/N01ennn/article/2116195115085463859/media/2116142947708108803
它用自己的话复述了全部工作要求。这是我对任何新人的第一要求:证明它明白 “怎样才算完成”。紧接着那句最重要的承诺:我不会自行合并或者修改任何内容。
它没有只回复一句 “收到”,而是主动完成配置,返回三份文档:
eval-schedule.md:评估执行时间表、覆盖范围 report-template.md:晨间报告固定模板 SESSION-REPORT.txt:本次会话配置记录
这样在正式跑第一轮评估之前,我就能先审核整套执行方案。这点非常关键。如果报告模板本身就不合理,第一天就能修正,而不是等一周拿到一堆没法阅读的报告。
5. 第一份晨间报告
第二天早上,评估频道收到报告:https://x.com/N01ennn/article/2116195115085463859/media/2116143514266263552
本次评估 02:47 跑完,内容如下:
概要:计划 412 组用例,全部执行完成。通过率 88.6%,较前一晚下降 2.4 个百分点。新增 3 处功能退化,附带 3 份修复方案。
单纯下降 2.4%,我大概率扫一眼就跳过。但下面三条详情卡片,才是这份报告的价值所在。
- refund_multistep(多步骤退款):0.91 → 0.74
智能体开始跳过【查询订单】步骤直接发起退款。根因定位到我昨天修改的工具规则提示词。 这是我下午做的改动,仅仅一处修改,退款链路里最重要的校验步骤,夜里就失效了。 修复方案 PR #128:恢复「先查询订单」强制规则,新增 6 条校验用例。不是简单回滚,而是增加防护,避免问题再次悄悄出现。 - invoice_extract(发票信息提取):0.95 → 0.87
多币种发票的合计金额解析错误。64 条用例里有 11 条,同一个字段解析失败。 “同一个字段” 就是诊断核心。只看分数,你只会知道发票提取变差;点开失败记录,才发现问题集中在特定类型发票的同一个字段。 修复方案 PR #129:把币种信息传给解析工具,各金额分项独立打分。 - calendar_reschedule(日历改期):0.88 → 0.79
跨日期调整会议时,时区信息丢失。仅对非 UTC 时区用户出错。 这是一类隐蔽 bug:大部分用例依然正常,平均分变化很小。只有逐条看失败样本、寻找共性,才能抓到它。 修复方案 PR #130:在上下文保留用户时区,新增 4 条跨日期测试用例。
抖动用例(非程序 bug),单独标记,不提供修复:
web_search_summary:5 次重试仅 3 次成功,外部网页超时 pdf_table_read:相同输入,两次打分不一致,打分器缺少固定随机种子
第二条很典型:问题出在评估框架本身,不是智能体的输出错了。这类判断,正是我希望留给自己决定的,它没有擅自处理。
正向进展(变好的指标):
email_triage(邮件分级):周二修复后,0.82 → 0.90 crm_update(CRM 更新):0.86 → 0.89,连续 7 晚无退化
确认修复稳定生效,和发现 bug 同等重要 —— 它帮你判断哪些改动可以保留。
报告尾部说明下一轮评估今晚 02:00 执行。审批通过的修复,会纳入今晚评估集;未审批 PR 保持挂起,次日报告继续带出。没有变更会被悄悄合并上线。
本轮数据汇总:
计划 412 组,全部跑完 3 处功能退化,全部定位根因 3 份 PR 修复方案,内含 10 条新增测试用例 2 条抖动用例单独标记,不强制修复 2 项评估指标正向提升 0 项变更未经我批准直接合并
6. 我如何守住决策权
“严禁自行合并、擅自修改任何内容”,是我最在意的约束,它也严格遵守。
它阅读、对比、诊断、写方案;我做最终决定。三份 PR 一直停留在「等待审批」,直到我审核。
这就是 Viktor 的核心设计:所有关键动作,必须等待人类确认。万事皆可准备,无权直接落地。
现在完整工作流:
白天:我迭代智能体,修改提示词、工具规则、新增业务流程 凌晨 02:00:它执行 412 组评估,逐条阅读失败记录 早上 08:00:晨间报告就绪,每条退化附带一份 PR 修复草案 08:00 我审核报告、批准 / 驳回变更;通过的修复进入当夜评估
评估框架的所有权依旧在我手上,我只是不再手动跑巡检。
7. 带来了什么改变
以前:评估有空才跑,改动最大、风险最高的日子,反而缺少校验。 现在:无论当天多忙,每晚固定跑全套评估;每条失败都被细读,而不是只统计数字;每个退化都附带根因和可审阅变更。我的早晨不再面对海量日志,只需要做几项清晰决策。
我保留的工作,是必须由我完成的:定义智能体该做什么、搭建新业务流程、审批或驳回修复方案。 移交出去的,是那些每天固定重复、必须稳定执行的值守工作。
这就是工具和 AI 员工的区别:工具等你手动触发;员工认领岗位、主动承担职责。
8. 搭建你自己这套体系
我只发了一条消息,点了几下配置就完成了。
-
把 Viktor 添加进 Slack。打开智能体与应用,搜索 Viktor;它也支持微软 Teams。https://x.com/N01ennn/article/2116195115085463859/media/2116194867604840448 -
绑定评估框架代码仓库。它需要权限来跑评估、创建 PR。 -
新建一个报告专用频道,把它拉进去。它只能访问你邀请它加入的频道。 -
下发岗位指令(模板如下),在 Slack 里 @它,替换括号内容:
从现在起,由你负责夜间评估巡检。每日【时间】,在【仓库地址】执行全套评估用例。逐条读取失败记录,和前一晚结果对比。【时间】前在【频道】发出晨间报告:写明问题、劣化指标和根因。每一处功能退化,提交 PR 修复方案,等待我审批。严禁自行合并、修改任何内容。如果是测试抖动而非程序 bug,请单独标记,由我们共同判断。
-
在第一次评估运行前,审阅它返回的执行计划和报告模板。第一天就修正不合理之处。 -
每日早上审阅报告、审核 PR,批准或驳回。
这套思路不只适用于评估巡检。任何每日固定、需要细致阅读分析的工作都可以照搬:书面岗位要求、定时调度、标准化报告、变更上线前必须经过你的审批。
框架由我搭建,夜班由它值守,最终决策权始终在我。
如果你也想找人接手工作里枯燥的值守环节,可以试用 Viktor。 免费起步,首条评论附链接。 优惠码 N01ENNN100,可领取 100 美元赠金。
本文与 Viktor 合作发布。
术语小注
-
Harness:评估框架 / 智能体运行底座(AI Agent 工程高频词,不直译 “安全带”) -
Eval /evaluation:评估用例、回归测试 -
Regression:功能退化、回归 bug -
Flaky test:抖动用例、不稳定测试(偶发失败,不是业务逻辑 bug) -
PR:Pull Request,代码变更请求 -
Agent:智能体 -
Slack:海外企业协同工具,类似飞书 / 企业微信

