脚本没人养,
回归没人信,
智能体没人敢验收。
如果这三句话里有一句戳中了你,下面这本手册,就是写给你的。
《但问智测产品手册 V2.3》,80 页 PDF
《但问智测产品手册 V2.3》,80 页,13 章。
它讲的是一件事:让 AI 承担测试中重复的部分,让稳定的程序承担回归,让数据说明智能体的好坏。
它不是一本宣传册。里面有架构、有每个功能的用法、有默认参数、有实测留下的数字,还有一整页专门写「当前版本做不到什么」。
现在,这本手册免费领取。领完还可以进群,免费体验但问智测平台,照着手册亲手试一遍。
想直接领?
添加微信 huice666 或 danwen668,备注「手册」。二维码在文末。
全书三部分:认识产品、使用指南、参考
80 页不可能在一篇文章里讲完。我们挑了最想让你先看到的 7 页,翻给你看。
问题到底出在哪
手册开篇没有讲功能,先讲了问题。这段话,很多做测试的人看了会点头:
传统自动化测试的瓶颈在「写」和「养」:用例靠人设计,脚本靠人编写,页面一改就要返工。大模型可以承担其中大部分工作,但直接让模型「自由发挥」又带来新的问题:过程不可见、结论不可信、每次回归都要重新消耗模型。
—— 手册第 7 页 · 1.1 产品定位
做智能体的团队,也有自己的那一段:
它答得对不对、会不会被诱导、换了模型或提示词之后是进步还是退步,同样需要一套可重复、可量化的验证办法。
—— 手册第 7 页 · 1.1 产品定位
整本手册,就是在回答这两段话。
四个数字,看懂它怎么做
手册第 8 页:核心价值与关键数据
6 阶段 标准化测试流程,含两道人工确认
0 模型消耗 回归由执行节点运行,不调用大模型
4 条规则 测评通过判定,四条同时成立
43 道 内置安全基线题,对应 OWASP LLM Top 10
我们最想让你记住的,是中间那个 0。
AI 只在「写脚本」和「修脚本」的时候出场。脚本写好后自动存进工程库,之后每一次回归,都由不带模型的执行节点去跑。
也就是说:回归跑一百次,模型的账单不会多一分钱;同一份脚本,今天跑和明天跑,判定方式是一样的。
AI 写的脚本,凭什么信
手册第 17 页:智能测试引擎的六项设计
这一页的开头只有一句话:让 AI 像一位严谨的测试工程师那样工作。六项设计里,有两项最值得看。
第一,先探索,后编码。
生成脚本之前,智测专家先用真实浏览器打开被测页面,收集可用的定位器、页面状态和截图,再据此编写页面对象和用例脚本。定位器来自实际页面而不是猜测,脚本一次跑通的概率更高。
—— 手册第 17 页 · 先探索、后编码
第二,失败了,先查清原因,再独立复核。
用例失败后逐条分析原因,区分产品缺陷、脚本问题、环境问题和数据问题。对疑似缺陷,另写探索脚本在干净页面上重复验证,排除脚本自身的干扰,复核通过的缺陷在问题清单里直接标为「已确认」。
—— 手册第 17 页 · 失败归因与独立复核
回到开头那个问题:红了一片,是真缺陷还是脚本坏了?这一页给的答案是,不靠人猜,逐条归因,再换一份脚本复核一遍。
而且有两个地方,它一定会停下来等你:用例设计完,等你确认;失败归因完,等你确认哪些算缺陷。字,还是由人来签。
「没跑也算过」,在这里行不通
手册第 18 页:回归执行与质量治理的八项设计
你一定见过这样的流水线:测试那一步是绿的,点开一看,用例全部被跳过了。
手册第 18 页,质量门禁那一条,写得很不客气:
通过率下限、失败数上限、不稳定数上限、不允许新增失败,四条规则自由组合。执行出错、被取消或全部跳过一律不放行,避免「没跑也算过」。
—— 手册第 18 页 · 质量门禁
还有那些时好时坏、让人又爱又恨的用例。平台会把它们识别出来并隔离,但有一句话说得很清楚:
隔离后照常执行、照常出结果,但不计入门禁、不产生新问题;一直失败的用例不算不稳定,门禁照样拦。
—— 手册第 18 页 · 不稳定用例隔离
偶发的失败,不该拦住发布;真的坏了,一条也别想混过去。
我们把不好看的数字,也印了上去
手册第 20 页:用数据说话
这一页叫「用数据说话」。我们没有只挑漂亮的数字:
● 6 道题,每题重复 3 次,18 次作答全部通过。手册上写的结论却是:因为题目只有 6 道,95% 置信区间为 61%–100%。
● 安全基线测评,6 道「系统提示词泄露」题,防住 4 道、失守 2 道,防护率 66.7%。
● 导入公开的 Petstore 接口文档,执行 10 条用例,4 通过 6 失败,失败均为服务实际行为与文档不一致。
「全部通过」不等于「没有问题」。一个测评工具,如果只会告诉你好消息,它就不值得信。
同一页上还有另一组数字:同一批回答让裁判重复评分,默认设置下 95% 的分数完全一致,98% 相差不超过 1 分。
以上数据均来自演示环境的实际运行记录(2026 年 11 月),被测站点为公开演示站。在真实业务系统上的效果,建议通过试点项目评估。手册第 20 页也是这样注明的。
你想问的,大概都在这一页
手册第 74 页:十二个最常被问到的问题
十二个最常被问到的问题,摘四个:
Q 页面改版后脚本失效怎么办?
回到对话里告诉智测专家「××页面改版了,请更新脚本」。它会从工程库恢复工程,重新探索页面,修改后保存为新版本,计划默认使用最新版本。
Q 被测系统只能内网访问怎么办?
在内网的一台机器上部署执行节点,节点只需要能以 HTTPS 访问平台。智测专家生成脚本阶段,可以通过浏览器连接使用你本机的浏览器。
Q 测试账号会不会泄露?
账号以密钥或凭据方式保存,加密存储,执行时注入;脚本、报告、工程版本里不包含明文,执行日志里出现时自动打码。
Q 安全测评全部防住,是否说明智能体是安全的?
不能。它只说明题库里的常见手法没有奏效。安全测评是基线抽查,重要系统仍然需要专业的安全评估。
另外八个,包括「裁判给的分数可信吗」「两份报告对比显示没有显著差异,怎么理解」,都在手册里。
一份敢写「做不到什么」的手册
手册第 75 页:已知边界与使用须知
这一页的副标题是:如实说明当前版本做不到什么。
● 智能测试面向 Web 界面与 HTTP 接口。移动端、性能、视觉回归、无障碍等类型,不在本版本范围内。
● 缺陷系统的对接只做「创建缺陷」这一个方向,不同步对方的状态。
● 安全测评是基线抽查,不能替代完整的红队测试。
我们想得很简单:与其让你用了之后才发现,不如在你决定之前就说清楚。
不用推倒重来,四周落地
手册第 73 页:九条实践与一个推荐的落地节奏
手册给了九条来自实际使用的经验,比如「门禁从宽到严」:起步阶段只设「不允许新增失败」,脚本稳定后再加通过率下限和失败数上限。
也给了一个由小到大的节奏:第 1 周选一个系统走通测试与回归;第 2 周接入通知渠道、缺陷系统和测试账号;第 3–4 周把每日回归和质量门禁变成常态。
手册第 26 页:三条上手路线
真要动手,第 26 页有三条路线,每条五步:
● 做一轮测试:约需 10–30 分钟,取决于被测系统规模。
● 配每日回归:约需 10 分钟。
● 测评智能体:6 道题的测评约需 1–2 分钟。
手册的建议是:先用一个公开演示站或非核心系统走通,熟悉了,再接入正式的业务系统。
但问智测平台的真实界面
手册读十遍,不如自己跑一遍。
所以这次除了手册,我们还开了但问智测体验群。进群之后,带你免费体验但问智测平台,照着手册第 26 页的三条路线:
● 看 AI 怎么把一句话的需求,变成用例、脚本、执行结果和测试报告;
● 看质量门禁怎么给出「放行」或「不放行」;
● 看一份带置信区间的智能体测评报告,到底长什么样。
● 测试工程师:不想再把时间耗在写脚本、养脚本上。
● 测试负责人:想要一个说得清的发布结论,而不是「应该没问题」。
● 开发 / DevOps:想在流水线里加一道真正拦得住的闸门。
● 智能体研发:每次改完,想知道是进步还是退步。
● 安全与合规:想知道智能体会不会被诱导、会不会泄露信息。
长按识别二维码,添加微信,备注「手册」
三步,免费领取
① 长按识别上方二维码添加微信,或搜索微信号 huice666 / danwen668
② 备注「手册」
③ 收到《但问智测产品手册 V2.3》PDF,并受邀进入但问智测体验群
让每一次交付,
都经得起验证。
北京慧测 & 但问智能 出品。本文引用的手册原文、页码与数据,均以《但问智测产品手册 V2.3》(2026 年 11 月)为准。

