「但问智测」重磅发布：一站式搞定 Agent 追踪、智能评测

演示能过，上线就废：67 页讲透 Agent 评测

如果大模型的效果无法被精准观测、无法被量化评测、无法被统一治理，AI 应用就永远不敢真正放心地走向核心生产环境。

专为大模型与智能体工程化落地打造的一站式 AI 质量评测与可观测平台——「但问智测」正式亮相并开放体验！

▲ 「但问智测」全景工作台：支持「GenAI 智能体」与「模型训练」双引擎一键切换

从最初的 提示词在线演练，到开发期的 全链路追踪与自动化基准评测，再到生产期的 统一 AI 网关路由、实时性能大盘与团队权限管理，「但问智测」真正把 AI 应用的质量生命线串成了完整闭环。

面对复杂的多步 Agent 工作流或 RAG 检索链路，传统的文本日志早已力不从心。在「但问智测」中，只需轻量接入，即可自动捕获每一次交互的完整执行轨迹（Span 调用树）：

• 全维调用细节透视：
  结构化美化展示 System 指令、用户输入与助手输出，自动核算每次推理耗时（如 1.73s）、精确 Token 消耗与单次调用成本；
• 追踪与评定同屏联动：
  查看轨迹的同时，右侧面板直接呈现多维自动评定结果（正确性、简洁度、语言合规等）与期望标准答案（Ground Truth），支持测试专家一键补充人工反馈；
• AI 自动问题检测（CLEARS 六维智能诊断）：
  无需人工大海捞针，一键扫描海量追踪并自动聚类异常根因，全方位覆盖智能体六大质量防线：

▲ 单次调用链三栏透视：左侧 Span 树、中部结构化输入输出、右侧自动评定与期望答案同屏比对

“感觉新版本回答更好了”不是工程结论——“在核心基准集上正确率达 100%，总 Token 消耗 413，单轮评测总成本 $0.000362” 才是可交付的质量底气！

「但问智测」内置强大的自动化评测引擎，彻底解放研发与 AI 测试工程师的双手：

• 内置「LLM 裁判」+ 自定义评分器：
  支持零代码配置大模型裁判（对检索相关性、事实准确性、幻觉与合规性自动打分），也支持自定义 Python 规则评分函数；
• 数据集管理 + 人工专家审阅队列：
  线上真实 Bad Case 可快速转化为标准评测数据集，并配合「审阅」模块让业务专家高效完成人工验收；
• 版本横向 Diff 对比：
  每次改完 Prompt 或切换新模型跑批评测后，支持选择历史运行一键横向对比，精准识别每一道题的得分升降与性能变化。

▲ 自动化评测运行报告：逐样本耗时、Token 数、正确性 100% 通过率及右侧多评分器与成本账单

应用上线后表现稳不稳定？「但问智测」围绕 「使用情况 · 质量 · 工具调用」 三大核心视角，提供开箱即用的监控大盘——实时汇总调用量趋势、自动绘制 P50 / P90 / P99 分位响应延迟曲线，并实时追踪错误数与总体错误率，线上性能抖动一眼锁定。

▲ 实时可观测仪表板：调用吞吐量、P50/P90/P99 分位延迟走势与错误率实时监控

告别在业务代码里到处硬编码不同厂商 SDK 和密钥的混乱时代！「但问智测」内置全新 AI 网关（AI Gateway），通过统一的 OpenAI 兼容标准协议集中纳管所有大模型调用：

• 主流大模型 + 编程智能体全覆盖：
  一键接入 DeepSeek、通义千问、智谱 GLM、GPT-5 系列、Claude 4.6、Gemini 3.0，更原生适配 Claude Code、OpenAI Codex、Gemini CLI 等热门编程智能体；
• 权重负载均衡 + Fallback 自动容灾：
  支持多模型按比例分配流量（轻松做灰度与 A/B 测试），配置 Fallback 备用模型后，主模型一旦限流或故障即刻无缝切换；
• 安全护栏 + 用量追踪 + 预算管控：
  API 密钥集中加密托管，支持挂载安全护栏（Guardrails）拦截敏感违规内容，配合全局预算（Budgets）与用量统计，安全与成本双保险！

▲ 统一 AI 网关中心：国内外主流大模型与热门编程智能体一站式接入

▲ 网关端点高阶编排：支持多模型权重负载均衡、Fallback 容灾、安全护栏与浏览器在线试用

为了让产品、研发、测试算法多角色丝滑协作，「但问智测」同样补齐了工程协同与企业安全底座：

• 交互式演练场 & 提示词版本库：
  无需改代码重新部署，直接在浏览器演练场注入变量、对比端点输出，并通过提示词注册表实现跨团队版本管理与回滚；
• 多用户与细粒度角色权限管理（RBAC）：
  内置平台管理中心，支持多账号独立登录、按角色精细化分配实验与网关端点读写/调用权限，每个人都可以独立监控自己的运行轨迹与专属端点，保障团队数据互不干扰。

▲ 平台管理中心：多用户独立登录与细粒度角色（RBAC）权限管控