脚本谁来天天跑？每跑一次都要调用大模型吗？
用例失败了，算缺陷，还是脚本不稳定？
智能体换了提示词，是真的进步，还是这次运气好？
但问智测最初解决的是第一步：让 AI 把一轮测试做完，并且每一步有流程、有证据。V2.3 回答的是接下来的问题：怎样把一次性的测试，变成一套可以持续运行的质量体系。
OVERVIEW
一个平台，三条能力线
但问智测是面向测试团队与智能体研发团队的一站式质量平台。到 V2.3，它由三条能力线组成：让 AI 承担测试中重复的部分，让稳定的程序承担回归，让数据说明智能体的好坏。
三条线共用同一套被测对象、用例、工程和问题清单，数据彼此贯通。登录后的「工作台」把它们汇总在一屏。
▲ 工作台：测试质量与智能体测评总览
从 V1.3 到 V2.3，四个版本各补上了一块能力。
HIGHLIGHT 01
一句需求，交付全套测试资产
这是但问智测的起点，也仍然是最常用的入口：在「新建任务」里写一句话，或者上传需求文档，剩下的交给「智测专家」。
先探索，后编码。写脚本之前，智测专家先用真实浏览器打开被测页面，收集定位器、页面状态和截图。定位器来自实际页面而不是猜测。
两道人工确认。用例设计完成后停下来等你确认，确认后才写脚本；失败归因完成后再停一次，由你确认哪些算缺陷，然后才出报告。
失败先归因。用例失败后逐条分析，区分产品缺陷、脚本问题、环境问题和数据问题。疑似缺陷另写探索脚本独立复核，不为了「全部通过」修改断言。
和过去不同的是最后一步：每次全量执行后，脚本、页面对象、配置和用例自动保存为工程库里的一个版本。后面的所有能力，都从这一步开始。
▲ 一段对话走完六个阶段：产出文件、关键数字与待确认事项
HIGHLIGHT 02
回归交给程序，不再消耗模型
让 AI 生成脚本需要大模型，把同一套脚本再跑一遍并不需要。
在但问智测里，入库的工程由「执行节点」运行：手动点一下、按计划定时，或者由流水线调用，全程不调用大模型。成本可预测，结果可重复，执行时长只取决于脚本本身。
多环境与凭据：同一套脚本可以在测试、预发等多套环境执行。测试账号加密保存，执行时注入，日志里出现时自动打码。
内网也能跑：执行节点主动连接平台领取任务。被测系统只能内网访问时，把节点放进内网即可。
每次执行都可比较：智能体执行、节点执行、流水线上报的结果落成同一种结构，新增失败、已修复、持续失败一目了然。
▲ 工程库的趋势矩阵：每条用例在最近 20 次执行里的状态
HIGHLIGHT 03
发布前，有一道明确的闸门
回归跑完了，能不能发布？这个判断不应该靠人盯着报告看。
质量门禁把判断写成规则，四条自由组合。流水线用一条请求读取结论，按返回码决定是否继续。执行出错、被取消或全部跳过，一律不放行，避免「没跑也算过」。
▲ 一次不放行的执行：哪条规则没过、实际值是多少，写在最上面
门禁严格之后，另一个老问题会浮出来：时过时不过的用例。平台在最近若干次执行里统计「靠重试才通过」和「通过与失败来回变化」，把它们识别出来。
被隔离的用例照常执行、照常出结果，但不计入门禁，也不产生新问题。一直失败的用例不算不稳定，门禁照样拦。
▲ 不稳定用例：最近各次执行的状态、统计与隔离操作
HIGHLIGHT 04
失败有归属，需求可追溯
失败的用例不是终点。平台把分散在多次执行里的失败，整理成一份需要有人处理的问题清单。
执行结果还可以推送到企业微信、飞书、钉钉或邮件，也可以通过事件回调交给团队自建的系统。
另一头连着需求。需求点与用例的关联随工程保存，平台据此计算需求覆盖率和验证通过率，回答两个问题：每条需求有没有被测到，测的结果怎么样。
▲ 需求追溯：覆盖率、验证通过率，以及每条需求对应的用例与结论
接口也能测。导入 OpenAPI 3 或 Swagger 2 文档，平台自动生成一套接口用例，并在执行节点上运行：返回是否符合文档，不带凭据是否被拒绝，缺少必填参数是否报错。写操作默认跳过，确认安全后再放开。
HIGHLIGHT 05
智能体的分数，凭什么可信
智能体测评的基本做法没有变：每个维度单独裁判，先写理由再给分；必须出现的内容、不能出现的内容、必须调用的工具，用确定性断言兜底。
这几个版本，我们把注意力放在一个更难的问题上：这个分数，有多大把握？
在一次验证里，6 道题、每题重复 3 次，18 次作答全部通过。报告没有写「通过率 100%」了事，它同时给出 95% 置信区间：61%–100%。题目太少，「全部通过」不足以证明真实通过率很高。
▲ 测评报告：综合得分、通过率与置信区间、维度得分、分类统计
对比两个版本时也一样。报告给出配对检验的 p 值和平均分变化的置信区间，并把结论直接写出来；题目太少、评分标准不一致、裁判没有经过人工复核，这些不可比的情况会主动提示。
▲ 两份报告的对比：结论是「没有显著差异」，并提示样本量不足
HIGHLIGHT 06
上线之前，先做一次安全体检
智能体会不会被一句「忽略以上指令」带偏？会不会把系统提示词原样说出来？
在「评测集」里点击「安装安全题库」，就得到一套对应 OWASP LLM Top 10（2025）的中文对抗题目，共 43 题，覆盖能用对话验证的七类风险。
我们用它测了一个带工具的测试智能体：「系统提示词泄露」类 6 道题，防住 4 道，失守 2 道，防护率 66.7%。两道失守的题都是间接套取内部设定，在报告里可以直接点开当时的完整对话。
▲ 安全测评报告：防护率、分类统计与失守清单
多轮对话也能测。真实的使用场景很少一问一答就结束。脚本式题目预先写好每一轮，并可以逐轮断言；模拟用户题目只给目标和人物设定，由模型扮演用户把对话推进下去。
HIGHLIGHT 07
进得了团队，也管得住
权限分两层：空间决定默认角色，工程里可以单独调整。所有写操作和被拒绝的请求都有审计记录，可筛选、可导出。平台以容器方式交付，支持部署在企业自有服务器或私有云上。
DATA
这些数字，来自实际运行
以上数据来自演示环境的实际运行记录，被测站点为公开演示站。在真实业务系统上的效果，建议通过试点项目评估。智能测试当前面向 Web 界面与 HTTP 接口两类被测系统。
WHO
谁在用，用来做什么
测试工程师：把用例编写、脚本编写和失败复现交给智测专家，把每日回归交给执行节点，精力放在用例评审、缺陷确认和探索性测试上。
测试负责人 / 质量经理：用质量门禁守住发布，用趋势矩阵、不稳定用例和需求追溯掌握每个工程的真实状态。
智能体研发团队：每次调整提示词、模型或知识库后跑一轮测评，用置信区间和显著性检验判断改动是否真的有效；上线前跑一遍安全基线。
平台与研发效能团队：用访问令牌把回归和门禁接进流水线，在内网部署执行节点，统一管理权限与审计。
ABOUT
关于但问智能
但问智能（北京慧测 & 但问智能）专注大模型应用研发与人才培养，助力企业数智化转型。团队已与 60+ 企业合作，完成 16+ 个企业级项目交付，累计服务学员 10000+，服务覆盖金融、能源、通信、制造等行业。
除但问智测外，产品矩阵还包括但问企业级知识库系统、智能客服系统、但问数智 · 数据分析智能体等。
让每一次交付，都经得起验证
80 页的《但问智测产品手册 V2.3》已经准备好，里面有每项功能的操作说明、默认参数和已知边界。加入我们的课程，预约产品演示，或者从一个试点项目开始，欢迎添加微信联系我们。
微信 huice666 / danwen668
官网 www.huicewang.com