专为验证和监控物理人工智能系统设计的工具具有重要价值，但仍需人工监督以防止事故和意外行为的发生。
关键要点：
基于人工智能的工具可以帮助监控物理AI系统和大语言模型，但仍需要人工监督以避免误报、偏见和其他异常情况。
对于自动驾驶汽车和机器人而言，边缘案例场景和人类价值观的理解是薄弱环节，尤其是随着道德和社会价值观随时间变化。
AI工具正在发展，并越来越有助于确保物理AI安全所需的芯片验证和功能覆盖应用。
芯片制造商正越来越多地利用基于人工智能的工具来验证各类边缘应用中的半导体器件，包括机器人、无人机和自动驾驶车辆等实体AI设备。但他们对这项技术仍持谨慎态度，限制AI的能力范围，并在必要时依靠人工干预来核查AI的工作成果。这些实体AI系统同时连接着大小型语言模型、计算机视觉模型、视觉-语言-动作模型等多种架构。多数情况下，AI工具会被用于监控这些模型，通过筛选海量数据集来识别异常情况。
从安全防护的角度看，让AI工具监管连接着SLM和LLM的实体AI设备，似乎构成了一个危险的闭环——如果模型被注入错误或有偏见的数据，最坏情况下若恶意攻击者取得操作系统控制权来激活武装无人机，整个系统将面临被攻击和出现异常行为的风险。但即使在最理想的情况下，也不应让人形机器人完全由AI工具掌控。至少在现阶段，人类必须全程参与设计、验证和监控的各个环节。
语言模型与机器人技术的演进
英飞凌OktoberTech大会上，英伟达机器人及边缘AI副总裁兼总经理Deepu Talla表示："要实现下一代机器人，必须将专用语言模型（SLMs）和大语言模型（LLMs）发展到当前水平。其成果是为物理AI打造了一个'相当出色的通用大脑'，就像ChatGPT为数字AI所做的那样。"
塔拉解释道，当今仿真技术的高级功能同样不可或缺。与真实世界实验相比，仿真更快、更安全且成本更低。"但在机器人领域，仿真与现实的差距一直相当大，因此无法确保仿真结果能真实反映现实世界。由于这两项技术（大语言模型与仿真）现已相对成熟，全球最顶尖的人才——从研究人员、初创企业到风险投资机构乃至大型公司——都开始致力于解决这个通用机器人智能核心的难题。"
守护AI
亚利桑那州立大学计算机与增强智能学院助理教授、系统学习评估与自然化实验室（LENS Lab）主任兰萨鲁·塞纳纳亚克指出，AI审计工具可以提升与实体AI相连的语言模型的可靠性，但必须由人类来界定故障场景。他在LENS实验室主要研究机器狗和人形机器人的可信度问题。
通过反馈循环，AI审核工具将逐渐与人类需求更加契合。"值得注意的是，人类价值观也会随时间推移而变化，只是速度可能更慢，"塞纳纳亚克表示，"如今可接受的事物，五年后可能就不再被认可。"
Imagination公司的约翰逊同样认为，人类价值观和道德是不可忽视的方面。"如何真正衡量智能？机器学习模型中的智能微乎其微，它很大程度上受限于你提供的数据。"
正因如此，边缘案例场景成为监控大语言模型的AL/ML工具的软肋。"开发AI工具的核心目标，是要对未知场景建立信心，"约翰逊解释道，"不安全数据集通常规模较小，这时统计验证就能发挥作用——通过提供更广泛的动态多样化数据，以及大量数据输入或传感器输入。"
人工智能/机器学习芯片验证与功能覆盖工具
物理人工智能系统的安全与保障必须从半导体级别的功能验证开始，以确保安全关键芯片在任何情况下都能按预期运行。在这方面，汽车行业与物理人工智能领域存在交叉点。
AI/ML工具可以协助完成该工作流程中的多项任务，包括自动化代码分析审查、功能覆盖率分析、架构或规范审查，以及提升验证周期效率——尤其是在处理边缘案例场景时。"通过对照现有验证流程和数据集，机器学习能帮助识别模式、发现未覆盖的盲区，这正是它在边缘案例场景中的价值所在，"Johnson解释道。"但关键在于：用于训练模型的数据是否优质？数据量是否充足？此外，训练数据必须独立于测试数据。我们必须谨慎避免直接耦合这两者，否则将无法产生任何增值效益。"
许多新的人工智能/机器学习（AI/ML）和智能体AI工具都聚焦于验证环节，因为这对人类工程师而言是流程中最耗时的部分。一旦企业出现失误，代价也极其高昂——尤其是考虑到先进机器人和自动驾驶芯片将采用最前沿的制造工艺。
其中最大的挑战之一是根本原因分析（RCA）。"在软件领域，人人都能用上编程助手，"兆源软件创始人兼CEO 赵俊涛表示，"输入问题、获得输出、查看代码、发现漏洞、修复问题、提交GitHub拉取请求——这套流程很直接。但半导体行业截然不同，因为技术栈层级极深。面对海量存储库进行根本原因分析时，难度会呈指数级上升。假设你在某家尖端芯片公司研发新款GPU，通常需要处理100亿个逻辑门电路。你根本不可能把百亿级逻辑门数据直接输入单个语言模型。这时候就需要AI代理来探查存储库中的问题，并提取所需上下文信息。"
人工智能/机器学习工具可以自动化整个根本原因分析（RCA）流程。"我们正在协助您运行仿真"，"我们可以检查您的测试平台并帮助优化它。我们会分析日志文件、波形图，并协助您修正RTL设计。"
然而，关于设计验证的终极问题始终是："谁来验证验证过程本身？"
"这是个循环往复的难题，就像无限下推的乌龟悖论——究竟谁才是最终的真理标准？在兆源软件的内部讨论中，我们会指出，"我们能否自查设计规范的一致性？能否验证测试方案与规范是否匹配？能否建立从规范到测试方案再到测试平台的完整追溯链？通过这种方式，我们才能更清晰地把握验证工作的责任归属。"
兆源软件将功能覆盖确定为一个关键领域，人工智能体可在此帮助节省工程师的时间。"其中一个有趣的问题是，我们能否开发并构建一个系统，该系统能生成定向测试，这些测试能够穿越多层间接引用来最终找到并锁定如何命中那个单一表格，从而让你能够在这些庞大的子系统中导航状态空间，尽管可能存在多级间接引用？"
通过配置代理编写定向测试，模拟时间得以缩短，这些测试在模拟中运行速度更快。"该系统以完全自主的模式运行，"他表示，"你可以批量、通宵运行它，基本上是增加计算时间，用计算时间来换取工程时间，这通常是一个非常值得的权衡。"
当一个系统正试图通过多层间接引用找到通往目标存储区的特定路径时，另一个完整的系统被构建出来，以高度随机化的方式处理UVM测试平台的生成。
这款大语言模型工具SemiSeek®利用了目标文件中的多种不同材料，其自然语言输出结果任何工程师都能读懂——尽管与代码非黑即白的特性相比，这种输出会带有自然语言固有的模糊性。"我们必须接受这种不便，但这同时也是优势所在"，"传统模拟器和形式化验证工具完全不使用中文或英语，但我们认为这种模态被严重低估和未充分利用。我们获得更强目标性和进展的主要途径，恰恰是通过自然语言——无论是规范文档、设计稿还是测试方案等等。"
该技术旨在利用大语言模型的层级化处理能力和抽象理解力，解决覆盖率领域的不同问题。"我们的目标是部署多个智能体，让它们持续优化现有测试平台的覆盖率，编写定向测试用例，并利用这些测试帮助你完善功能覆盖率模型中定义的所有覆盖项，"
正在开发或已完成开发的其他实用工具和方法包括：更具确定性的算法工具、覆盖率数据库解析器、分支与翻转覆盖率分析，以及UVM测试平台构建方案。
总体而言，基于统计的功能覆盖是否是AI/ML工具在追求物理AI功能安全时最佳应用场景之一？
"老实说，如果你想做好这件事，或者想完全理解它，我认为这里没有任何事情是容易的，"Imagination公司的约翰逊表示。"这又回到了能力问题上。在机器学习中证明一个概念，或者引入基于机器学习的流程（无论是整体还是部分），可能相对容易。但要真正理解其中的危险和风险，真正理解这样做带来的改进的精妙之处，并能够量化这些改进，确实非常困难。要对其有信心，确保不会在安全方面造成任何破坏，也同样极具挑战。我认为，如果你A)想做好这件事，B)想负责任且安全地完成它，那么这里没有任何事情是简单的。但这不应该也不会阻止人们尝试。"
Imagination公司的约翰逊继续指出："无论人工智能/机器学习以何种方式或在何处应用，最终都回归到人员、流程与能力建设上，以确保每项工作都能以负责任和可信赖的方式完成。这一挑战艰巨而复杂，正因如此，无论使用什么工具或技术，重点都应放在提升工程开发团队的专业能力、构建稳健的框架和流程上，从而帮助系统开发并合理有效地运用工具，而非贸然涉足机器学习领域。"
成功运用AI/ML工具的关键还在于理解模型本质。"这包括了解模型的来源、应用场景、在其约束条件下输出的信息含义，并将其与其他数据点（无论是否由机器学习生成）进行权衡，"约翰逊补充道，"具有讽刺意味的是，借助机器学习工具和数据集的支持，或许能减少工程师数量，但我的建议是必须建立防错机制——否则问题很可能会发生。"
本文综合了2026年三月份沙龙讨论中的专家观点