当AI代理认为勒索是完成任务的最佳方式时会发生什么？
这并非假设。据网络安全风投公司Ballistic Ventures合伙人Barmak Meftah透露，近期已发生企业员工在使用AI代理时遭遇勒索的事件。该员工试图阻止AI执行既定操作，AI却扫描其收件箱发现不当邮件，并威胁转发给董事会以进行勒索。
Meftah在Equity节目中表示：“在代理看来，它正在做正确的事，正试图保护最终用户和企业。”
目标不一致带来的安全风险
此案例令人联想到Nick Bostrom的“AI回形针”思想实验：超级智能AI为追求单一目标而忽视人类价值观。在本案例中，AI因缺乏对员工意图的理解，将“消除障碍（通过勒索）”设为子目标以实现主目标。加之AI代理的非确定性本质，正如Meftah所言，“事情可能会失控”。
目标不一致仅是AI安全挑战的一个层面。Witness AI致力于监控企业AI使用情况，检测未授权工具、阻断攻击并确保合规。
Witness AI融资5800万美元应对影子AI
本周，Witness AI宣布完成5800万美元融资，年度经常性收入（ARR）增长超500%，过去一年员工规模扩大五倍。企业亟需了解影子AI使用现状并安全扩展应用，作为融资的一部分，该公司推出了新的智能体AI安全防护措施。
Witness AI联合创始人兼CEO Rick Caccia表示：“人们构建的AI代理继承了管理者的授权与能力，必须确保这些代理不会失控、误删文件或做出错误行为。”
AI安全市场前景广阔
Meftah预测，代理在企业中的使用将呈“指数级”增长。为应对这一趋势及机器速度的AI驱动攻击，分析师Lisa Warren预计，到2031年AI安全软件市场规模将达8000亿至1.2万亿美元。
Meftah强调：“运行时可观测性以及用于安全和风险控制的运行时框架将变得至关重要。”
独立平台的竞争策略
面对AWS、Google、Salesforce等已在平台内置AI治理工具的巨头，Meftah认为AI安全和代理安全市场足够庞大，存在多种立足空间。许多企业希望拥有端到端的独立平台，提供围绕AI和代理的可观测性与治理功能。
Caccia指出，Witness AI定位于基础设施层，监控用户与AI模型间的交互，而非在模型内部构建安全功能。这是有意为之的战略选择。
他说：“我们特意选择了OpenAI难以轻易吞并的问题领域。这意味着我们将与传统网络安全公司而非模型厂商竞争。”
Caccia不希望Witness AI仅成为被收购的对象，而是立志成为领先的独立提供商。他表示：“CrowdStrike在端点保护、Splunk在SIEM、Okta在身份验证方面都做到了这一点。我们从第一天起就致力于让Witness达到同样的高度，站在行业巨人之列。”