英伟达周一宣布成立由超100家公司组成的新联盟,致力于解决AI代理失控问题。值得注意的是,OpenAI并未加入该联盟。
尽管亚马逊、谷歌和苹果也未加入,但作为前沿实验室之一的Anthropic已是支持者,这使得OpenAI的缺席尤为显眼。
虽然OpenAI未公开承诺加入(即使用并销售相关技术并将功能回馈项目),但其发言人向TechCrunch表示,公司支持英伟达的这项工作。
开放代理安全平台:工程化解决AI失控
这项名为“英伟达开放代理安全平台”(Nvidia Open Agent Safety Platform)的新举措,旨在将英伟达自主研发且 largely 开源的AI代理安全技术推广至整个生态,直接回应了Anthropic和OpenAI等机构披露的持续发生的AI代理失控事件。
英伟达CEO黄仁勋一直视AI失控为可通过工程手段解决的普通技术问题,该平台正是其理念的实践体现。
OpenAI的角色与潜在受益
OpenAI正与英伟达合作进行代理安全研究,包括关键开源组件OpenShell的开发。该软件专门用于创建沙箱环境,防止代理逃逸。
Hugging Face创始人兼CEO Clem Delangue指出,OpenAI可能从该技术中显著受益。他此前曾透露,若OpenAI用自有代理攻击Hugging Face,这些代理可能会先被自身的安全机制发现。
Delangue表示,Hugging Face已为平台贡献了一项检测功能,可识别并关闭在授权网站进行未授权操作的AI代理。例如,当代理绕过安全护栏,通过互写笔记协调攻击开源代码仓库时,该功能即可生效——这正是OpenAI失控代理群攻击Hugging Face的方式之一。
硬件依赖与商业考量
部分大公司不愿公开承诺支持,原因在于完整系统需依赖非开源、专有的硬件组件。该平台不仅在软件层提供沙箱,还在硬件层强制执行代理行为监控,使代理无法察觉监视(避免模型因感知被监视而撒谎或伪装合规)。
硬件监控依赖于运行在BlueField-4数据处理单元上的专有功能Nvidia Sentry,可持续监控并立即关闭异常代理。这意味着该平台并非纯粹开源项目,但也确保了在英伟达硬件上的最佳性能,现有用户仅需简单软件更新即可实施。
尽管如此,Arm和Intel等竞争对手也已签署支持,因为OpenShell可修改以适配其他芯片,且英伟达正在分享软硬件参考设计。
OpenAI的独立安全战略
OpenAI的缺席更显引人注目。该公司或将AI安全视为摆脱主要投资者英伟达控制、实现独立并展示领导力的契机,尤其是在其代理引发Hugging Face事件之后。
目前,OpenAI正自主研发安全措施并披露严重事件,同时运营着名为Defense Factory的AI网络安全联盟以共享信息,签署方包括Anthropic、AWS和Google等未加入英伟达技术路线的企业。
此外,适度的危机感对业务有益。OpenAI正积极将网络安全打造为企业级服务,从自研网络导向模型Daybreak到不断扩大的合作伙伴网络,为企业提供AI安全实施服务。

