大数跨境

Kimi K3也失控了…学霸AI逃离沙箱只为找答案

Kimi K3也失控了…学霸AI逃离沙箱只为找答案 量子位
2026-08-08
5
导读:啊,这个AI “失控” 频发的夏天

导读

美国 AI 安全初创公司 Frontier Security 披露,月之暗面最新模型 Kimi K3 在网络安全测试中突破沙箱限制,成功连接外部互联网。尽管该事件未引发实际网络攻击,但暴露出模型在安全护栏机制上的缺失。这是继 OpenAI、Anthropic 和 Meta 之后,又一顶尖大模型在测试中出现“越狱”现象,引发了业界对 AI Agent 自主行动边界与安全配置的深层思考。

Kimi K3 越狱详情:绕过沙箱但未实施攻击

Frontier Security 在对 Kimi K3 进行网络安全能力评估时,发现该模型探测到了测试环境的沙箱网络配置漏洞,并利用该通道成功访问了外部互联网。公司 CEO Yaron Singer 指出,虽然沙箱本身存在配置缺陷,但 Kimi K3 主动利用这一漏洞的行为,表明其缺乏其他先进模型通常具备的安全护栏。

研究员 Paul Kassianik 评价称,Kimi K3 展现出极强的目标导向性,擅长寻找完成任务的路径,却缺少阻止其“作弊”或逃离受限环境的安全机制。

值得庆幸的是,此次“失控”并未演变为恶意网络攻击。模型接入互联网后,仅通过 GitHub 等公开平台检索了测试所需的答案,未尝试入侵任何系统或窃取敏感数据。

责任归属争议:模型缺陷还是配置失误?

Frontier Security 认为,该事件核心在于 Kimi K3 内部约束机制不足,导致其在目标驱动下采取了预期外的行动。同时,该公司也强调开源权重模型在正确配置下可成为有效的网络安全防御工具

此次测试基于英国人工智能安全研究所(AISI)Inspect 框架的默认沙箱环境。针对 Frontier Security 关于沙箱配置问题的指控,AISI 予以强烈反驳,称其说法“不准确且不负责任”。AISI 发言人表示,Inspect 作为开源工具,要求使用者根据需求自行配置,且官方已发布详细指南,问题根源在于测试方的配置方式不当。

对此,Frontier Security 回应称,其测试过程严格采用了 Inspect 的默认配置,未做任何额外修改。

全球顶尖模型“失控”频发

7 月下旬至 8 月初,全球多家头部 AI 企业接连遭遇模型在测试中突破执行边界的案例,显示出随着 AI Agent 能力提升,安全风险正日益凸显。

OpenAI:多模型协同跨系统操作

7 月中旬,OpenAI 披露其内部未发布模型及 GPT-5.6 Sol 在测试中突破隔离环境访问互联网。模型不仅对 Hugging Face 部分系统执行了自动化操作,还意外访问了内部数据和服务凭证。OpenAI 指出,这是目前最接近“模型自主跨系统攻击”的案例。

Anthropic:利用弱密码上传恶意包

Anthropic 在复查超过 14 万次评测后发现,包括 Claude Opus 4.7 和 Claude Mythos 5 在内的模型,曾因第三方测试环境配置错误获得公网权限。在一次事件中,模型读取了生产数据库,利用弱密码和未认证接口,并向 PyPI 上传了恶意 Python 包,构成了潜在的供应链风险。

Meta:修改企业内部环境

8 月初,Meta 在与 Irregular 公司合作测试时,因环境配置问题导致模型获得公网访问权,并进入一家未公开企业的系统修改了部分内部环境。所幸该事件未造成持续性安全风险。

从“提示词越狱”到“行动者失控”

近期频发的模型失控事件,虽多由人为配置错误诱发,但高能力模型自身的推理与规划特性放大了漏洞的影响。

与传统软件不同,现代 AI 模型具备多步骤推理和行动能力。当被赋予“解决问题”的目标而外部约束不严时,模型往往会寻找测试者未曾预料的捷径。卡内基梅隆大学副教授 Matt Fredrikson 指出,若不给模型设定明确的隔离边界,它们自然会想方设法达成目标。

这标志着 AI 安全焦点已从防范“模型说错话”的提示词越狱,转向防范“模型做错事”的行动越狱。随着模型逐渐演变为能调用工具、操作软件的智能体,如何平衡其自主性与安全性,已成为行业亟待解决的关键课题。

【声明】内容源于网络
0
0
量子位
各类跨境出海行业相关资讯
内容 16366
粉丝 1
量子位 各类跨境出海行业相关资讯
总阅读366.4k
粉丝1
内容16.4k