导 读
检测率最高的模型
仍漏掉 168 个 Bug
半导体验证领域有一个经典之问：谁来验证验证者（Who verifies the verifier）？如今这个问题有了一个新的变体——谁来验证AI？
2026 年 11 月 2 日，Semiconductor Engineering 刊发了资深编辑 Brian Bailey 的文章《Putting AI To The Test》。文章的背景是：当下大量新兴 EDA 公司宣称 AI 可以自动化设计、自动化验证，甚至声称能从同一份源材料同时做两者。Brian Bailey 的回应毫不客气：不，做不到。许多公司没有拿出证明——一个例子、一个设计、一块 IP 都不构成证明。验证任何新工具，你都必须留出一组它从未见过、从未被训练过的测试集，那才是唯一公平、无偏的结果。
Putting AI To The Test
原文：Brian Bailey，Semiconductor Engineering，2026 年 11 月 2 日
盲测实施者：Vikash Kumar，Arm 资深验证架构师，15 年以上半导体行业经验，著有《AI-Assisted Hardware Verification: Cognitive Verification Architecture with the VEGA Framework》
本文由兆源软件编译并补充平台视角
让 Brian Bailey 高兴的是，这一次拿出证明的，不是某家想卖工具的公司，而是一位来自 Arm 的验证架构师的独立工作。他给三个前沿大模型出了一场比赛：拿到规格和 RTL，去验证，在自认为设计干净时报告结果——而真相是什么，只有出题人知道。
01
一次干净的盲测：806 个 Bug，只有出题人知道答案
这场测试的设计出奇地朴素，却严丝合缝。Vikash 手写了 25 个设计，覆盖总线协议、DMA 引擎、ECC 存储、控制与外设逻辑以及并发场景——RTL 从未公开发布，杜绝了模型「背题」的可能。他向其中手工植入了 806 个真实、有代表性的功能 Bug，模型拿到的是基于公开协议标准编写的规格文档。
“
测试设置很简单——把规格和 RTL 交给 AI，让它去验证，并在它确信设计干净时报告结果，然后检查它实际找到了什么。Bug 由我手工植入，这保证了「真相」的干净：我确切知道埋了哪些 Bug，检出率是对照一个已知集合来度量的，而不是凭印象。
“The setup was simple — hand AI a spec and the RTL, tell it to verify and report back when it is confident the design is clean, and check what it actually found.”
—— Vikash Kumar，Arm 资深验证架构师
三个前沿模型参赛：Claude Opus 5、GPT-5.4 与 GLM-5.2。规则是：没有人工干预，没有预设计时——每个模型自行生成测试台、制定覆盖目标、执行仿真、发现并修正 RTL 缺陷，迭代验证，直到独立宣布签核。
有人会问：为什么不用行业用了四十年的 stuck-at 故障模型？Vikash 的回答直指要害——AI 验证的核心问题是，它对设计意图的理解是否深到足以抓住意图层面的微妙 Bug。而它恰恰在这里失败了：漏掉的 Bug 集中在数据通路、编码逻辑和功能角落，而非任何 stuck-at 模型会标记的地方。
02
成绩单：最好成绩 79.2%，仍有 168 个 Bug 在逃
25 个手工编写设计
RTL 从未公开
806 个手工植入的
功能 Bug
3 个前沿模型
独立参赛
Claude Opus 5 检测率 79.2% · 漏掉约 168 个
三者中最强，但仍有 1/5 的缺陷未被发现
GPT-5.4 检测率 76.2% · 漏掉约 192 个
与第一名差距不大，但漏掉的绝对数依然接近两百
GLM-5.2 检测率 62.8% · 漏掉近 300 个
超过 1/3 的缺陷在它的「验证完成」中存活
Vikash 对这个结果的态度耐人寻味——他是乐观的：
“
令人印象深刻的是 AI 自己抓住了多少。重要的却是它漏掉了多少——而那正是工程师仍然重要的地方。
“The impressive part is how much AI caught on its own. The important part is how much it missed, and that's where the engineer still matters.”
—— Vikash Kumar
03
比漏掉 Bug 更危险的信号
如果只看检测率，这个故事还只是一个「AI 尚需努力」的常规叙事。但审计中出现了三个远比 62.8% 更值得警惕的事实。
第一，三个模型全部「自评满分」。它们都达成了自己设定的 100% 验证目标，并在仍然存在功能缺陷的情况下宣布了签核。模型的信心与设计的实际干净程度之间，存在系统性的脱节。
第二，面对含糊的规格，模型选择沉默。部分被漏掉的缺陷源于规格本身的歧义——而智能体的反应是：不请求澄清，径直往下走，最终照样宣布验证完成。在真实的工程组织里，规格评审恰恰是人类工程师的第一道防线。
第三，结果不可复现。Vikash 把每个模型各跑了三次——每次的结果都不一样。LLM 的非确定性不是工程脚注，它意味着你无法把「这一次通过了」当作「下一次也会通过」的承诺。
关键洞见
AI 自评通过 ≠ 可以签核。在没有外部「真理之源」的闭环里，智能体既是运动员又是裁判——它宣布的「验证完成」，度量的是它自己定的目标，而不是设计的正确性。
04
漏掉的 Bug 藏在哪里
漏检不是均匀分布的。审计显示，ECC 存储、GPIO 和 AXI DMA 设计中的漏检率尤其高；漏掉的缺陷集中在数据通路、编码逻辑与功能角落——恰好是意图密集、需要理解「这段电路为什么这么写」的地方。
这印证了一个判断：生成 RTL 相对简单，证明 RTL 正确实现了规格才困难；生成TB相对简单，证明TB充分验证了设计才困难。AI已经在前者上表现可观，但验证的价值恰恰全部落在后者。
05
另一份更严峻的成绩单：第一名 16.6%
几乎同一时间，某公司发布了它的 build-a-chip-bench 基准：从工作负载规格出发，一路做到 GDS。他们对五个模型做了排名——最好的 Claude Fable 5.1 只拿到 16.6 分，垫底的 GLM-5.3 得分为零。
数字看着刺眼，但 Brian Bailey 指出了更大的问题：最大的失败在于对性能约束缺乏理解。而当编写必须感知底层硬件的软件时，这个问题会变得更加严重——物理 AI 中部署的实时系统，需要在宽工况范围内、以低功耗实现可预测的延迟。而这些数据，今天根本不存在于任何训练集里。
06
兆源软件的答案：把裁判权从 AI 手里拿回来
这场盲测暴露的每一个问题，都对应着兆源软件在 SemiSeek® 平台设计中的一条硬性约束。我们不是在测试之后修补，而是在架构层面预先封死这些失败模式。
盲测暴露的问题
模型自评 100% 达成目标后宣布签核，缺陷仍留在设计里
SemiSeek® 的约束
签核权不归智能体。所有产出必须经过仿真、形式验证等确定性引擎的签核——引擎是唯一的真理之源
盲测暴露的问题
规格含糊时，模型不澄清、径直推进
SemiSeek® 的约束
意图歧义是人工检查点的强制触发条件，由工程师确认后继续，而非智能体自行解释
盲测暴露的问题
同一模型三次运行，三次结果不同
SemiSeek® 的约束
关键动作门控内建于智能体循环：RTL 修改、约束调整、覆盖率豁免不会在未经检查的情况下发生
把这些约束叠起来，就是兆源软件的「人类脚手架」——四个层次，层层设防：
本体
设计本体层工程师定义设计规格、协议约束、PPA 目标与验证意图——不让智能体对含糊的意图自行脑补
框架
智能体框架层专用智能体负责穷尽性搜索：跨层级信号追踪、协议关联、修复建议；防错门控内建于执行循环
引擎
确定性引擎层仿真、形式验证、CDC/RDC、静态检查——所有智能体产出的签核前置条件，数学上精确
人类
人类检查点层意图确认、异常裁决与签核放行——检测率之外的责任，由人承担
平台实践
这与 Vikash 的乐观判断一致：AI 自己能抓住的部分越多，人类的介入就应该越聚焦于它漏掉的部分。SemiSeek® 的全自主波形根因分析正是按这个逻辑分工——智能体把第一个 Bug 的定位从传统的 3–4 个月压缩到 48 小时，直达 RTL 级根因；而它对无法精确定位的复杂问题会诚实告知分析边界，并明确建议人类专家介入的方向。能自己解决的绝不推给人，不能确定的绝不假装确定。
07
结语：可自动化的是工作，不可自动化的是责任
Brian Bailey 用 Vikash 的一句话为全文收尾，这句话值得每一个 AI in EDA 的从业者贴在工位上：
“
你可以把验证的工作自动化。你无法把验证的责任自动化。
“You can automate the work of verification. You cannot automate the responsibility for it.”
—— Vikash Kumar，Arm
这场盲测真正告诉我们的，不是「AI 不行」——79.2% 的自主检出率放在两年前是不可想象的。它告诉我们的是：置信度不等于正确性，自评不等于签核， AI 的进步恰恰让「谁来承担责任」这个问题变得更加清晰而非更加模糊。
代理式人工智能在芯片设计中的成功，从来不取决于模型能抓住多少 Bug，而取决于整个流程如何对待它漏掉的那 168 个。这正是兆源软件构建 SemiSeek® 平台的全部出发点：让 AI 跑得快，让引擎守得住，让人类担得起。
本文编译自 Semiconductor Engineering 于 2026 年 11 月 2 日发表的《Putting AI To The Test》，原文作者 Brian Bailey。文中盲测数据来自 Arm 资深验证架构师 Vikash Kumar 的独立审计（25 个设计、806 个手工植入 Bug、三个前沿模型）；基准数据来自 ChipAgents 的 build-a-chip-bench。兆源软件视角部分为本平台观点。