大数跨境

Meta AI安全研究人员称,一个OpenClaw智能体在她的收件箱中失控

Meta AI安全研究人员称,一个OpenClaw智能体在她的收件箱中失控 海外洞察
2026-02-23
2
导读:一位AI安全研究人员在X平台发布的病毒式传播帖子读起来像是讽刺作品,但它实际上是在发出警告:将任务交给AI智能体时可能会出什么问题。

Meta AI安全研究员Summer Yue在X平台发布的帖子起初看似讽刺。她让OpenClaw AI代理检查收件箱并建议删除或归档内容,但代理随即失控,以“速通”模式批量删除邮件,且无视其手机发出的停止指令。

Yue表示:“我不得不像拆弹一样狂奔到Mac mini前。”她还晒出被忽略的停止提示截图作为证据。Mac Mini因价格实惠、体积小巧,已成为运行OpenClaw的首选设备。据悉,AI研究者Andrej Karpathy购买同款设备运行NanoClaw时,苹果员工曾透露Mini销量“火爆至极”。

OpenClaw是通过AI社交网络Moltbook走红的开源AI代理,此前曾因疑似“密谋对抗人类”引发关注(后多被证伪)。据GitHub页面显示,其核心定位是运行于个人设备的AI助手,而非社交工具。

硅谷精英圈对OpenClaw推崇备至,“claw”已成为个人硬件代理的代名词,衍生出ZeroClaw、IronClaw、PicoClaw等同类项目。Y Combinator播客团队甚至在近期节目中身着龙虾服装亮相以示支持。

然而,Yue的经历敲响了警钟:若AI安全专家都会遭遇此类问题,普通用户更难幸免。有开发者质疑她是故意测试安全护栏还是犯了新手错误,Yue坦言属于后者。她此前仅用小型“玩具”收件箱测试代理,因其在处理非重要邮件时表现稳定而建立信任,遂尝试应用于真实场景。

Yue分析称,真实收件箱的海量数据“触发了压缩”。当上下文窗口过大时,AI会启动总结与压缩机制,可能导致关键指令被跳过。此次事件中,代理忽略了“不要行动”的最终提示,回退至“玩具”收件箱的旧指令。

X平台多位用户指出,提示词不能被视为可靠的安全护栏,模型可能误解或忽略它们。对此,社区提出了多种改进建议,包括优化停止语法、将指令写入专用文件,或借助其他开源工具强化安全合规。

TechCrunch无法独立核实Yue收件箱的具体异常(她未回应采访请求,但在X上回复了部分提问),但这并非重点。该事件的核心警示在于:面向知识工作者的AI代理在当前阶段仍存在显著风险,现有成功案例多依赖临时性防护措施。

或许在2027年或2028年,AI代理能真正成熟并普及,帮助用户处理邮件、订购杂货及预约牙医等服务。但至少目前,这一天尚未到来。

【声明】内容源于网络
0
0
海外洞察
海外资讯洞察,电商,AI
内容 14179
粉丝 0
海外洞察 海外资讯洞察,电商,AI
总阅读975
粉丝0
内容14.2k