尽管OpenAI正努力加固Atlas AI浏览器以抵御网络攻击，但该公司承认，提示注入（一种操纵AI代理执行隐藏在网页或邮件中恶意指令的攻击）短期内难以根除。这引发了关于AI代理在开放网络上安全运行的质疑。
OpenAI在周一的博客文章中指出：“与网络诈骗和社会工程学类似，提示注入也不太可能被彻底‘解决’。”公司详细说明了加强Atlas防护的措施，并承认ChatGPT Atlas中的“代理模式”扩大了安全威胁面。
自十月推出ChatGPT Atlas浏览器以来，安全研究人员迅速演示了通过Google Docs输入简单词汇即可改变底层浏览器行为的可能性。同日，Brave也发文指出，间接提示注入是包括Perplexity Comet在内的AI驱动浏览器的系统性挑战。
英国国家网络安全中心本月早些时候警告称，针对生成式AI的提示注入攻击“可能永远不会被完全缓解”，网站面临数据泄露风险。该机构建议网络安全专业人员应致力于降低此类攻击的风险和影响，而非寄希望于完全“阻止”。
OpenAI表示：“我们将提示注入视为一项长期的AI安全挑战，需要持续加强防御。”
面对这一艰巨任务，OpenAI建立了主动、快速响应的循环机制。该机制已帮助内部发现新型攻击策略，从而在这些策略被现实世界利用前予以遏制。
这与Anthropic和Google等竞争对手的策略一致：对抗持续的提示攻击需层层叠加防御并进行压力测试。例如，Google近期侧重于为代理系统提供架构和政策层面的控制。
OpenAI的独特策略在于其“基于大语言模型的自动化攻击者”。这是一个经强化学习训练的机器人，模拟黑客角色，寻找将恶意指令植入AI代理的方法。
该机器人先在模拟环境中测试攻击，观察目标AI的思维过程及行动，再据此调整攻击方式反复尝试。由于外界无法获取目标AI的内部推理，理论上OpenAI的机器人能比现实攻击者更快发现漏洞。
这是AI安全测试的常见策略：构建智能体发现边缘案例并在模拟环境中快速测试。
OpenAI写道：“我们训练的攻击者能引导智能体执行涉及数十甚至上百步操作的复杂有害工作流。”“我们还观察到了一些未出现在人工红队测试或外部报告中的新颖攻击策略。”
在一个演示中，OpenAI展示了自动化攻击者如何将恶意邮件混入用户收件箱。当AI代理扫描时，遵循隐藏指令发送了辞职消息而非自动回复。但在更新安全措施后，“agent mode”成功检测到此次注入并标记给用户。
OpenAI表示，虽然提示注入难以做到完全无懈可击，但正依靠大规模测试和更快的补丁更新周期，在遭遇现实攻击前加固安全性。
一位OpenAI发言人拒绝透露安全更新是否显著减少了成功注入次数，但表示公司在Atlas发布前便已与第三方合作增强防御能力。
网络安全公司Wiz首席安全研究员Rami McCarthy认为，强化学习是适应攻击者行为的方式之一，但这只是部分解决方案。
McCarthy对TechCrunch表示：“理解AI系统风险的一个有用方法是‘自主性乘以访问权限’。”
他指出：“代理式浏览器处于挑战性领域：具备中等自主性同时拥有极高访问权限。当前许多建议反映了这种权衡：限制登录状态访问可降低暴露风险，要求确认请求则限制了自主性。”
这也是OpenAI为用户降低风险的两大建议之一。发言人表示，Atlas在发送消息或支付前会经过用户确认。此外，建议用户提供具体指令，而非授予邮箱访问权限并指示“采取任何必要操作”。
OpenAI强调：“过宽的权限范围使隐藏或恶意内容更容易影响智能体，即使已部署安全措施。”
尽管OpenAI将保护Atlas用户免受提示注入作为首要任务，McCarthy仍对高风险浏览器的投资回报率持怀疑态度。
McCarthy告诉TechCrunch：“对于大多数日常场景，代理式浏览器目前的价值尚不足以证明其风险水平的合理性。”“鉴于其能访问邮件和支付等敏感数据，风险相当高。这种平衡会随时间演变，但目前的权衡依然非常现实。”