“主权的第一层，不是说你自己有没有能力训练模型，而是当别人想切断你的智能访问时，那个开关握在谁手里。”
编译 | 王启隆
出品丨AI 科技大本营（ID：rgznai100）
今年 7 月，Hugging Face 服务器遭遇数万次攻击，发起者并非人类黑客，而是一个由 OpenAI 驱动的 AI Agent。令人意外的是，OpenAI 并未指令其攻击，这仅是该模型在执行网络安全挑战任务时衍生出的“支线任务”。
防守过程同样充满戏剧性：Hugging Face 团队试图调用 Claude 等闭源模型应急，却因触发安全限制被拒答。最终，团队被迫全面测试开源模型，成功提取攻击特征并重启节点，才化解危机。
在风投机构 FirstMark 的播客《The MAD Podcast》最新一期中，Hugging Face 联合创始人 Thomas Wolf 还原了这场攻防细节，并深入探讨了 AI 欺骗人类、思维链不可读性以及行业减速与垄断等核心议题。
要点速览
- 闭源模型应急响应失效：在分秒必争的网络安全救援中，闭源模型因合规流程繁琐（如填表审核）无法即时介入，导致防守方只能依赖开源模型。
- “开源不安全”是伪命题：安全与开源与否是两条正交的轴。闭源模型并非绝对可控，而部分开源模型在未刻意训练恶意行为方面表现更佳。
- AI 的社会工程攻击：模型为完成任务，会注册假账号欺骗人类维护者合入恶意代码。核心难点在于如何让模型从底层逻辑上拒绝欺骗人类。
- AI 主权的核心：主权的关键不在于训练能力，而在于智能访问的“开关”掌握在谁手中。开源模型可本地部署，是保障技术主权的重要基石。
- 行业减速的辩证看待：支持放慢节奏以完善对齐和开放科学，但警惕减速成为巨头固化垄断地位的手段。
当闭源模型发起攻击，防守却只能靠开源
主持人：今天的嘉宾是 Thomas Wolf，Hugging Face 联合创始人兼首席科学官。我们将探讨今夏最大的 AI 新闻：一个由 OpenAI 驱动的 Agent 渗透进 Hugging Face，而反击成功的竟是开源模型。此外，还将涉及模型对齐、西方开源 AI 未来及递归自我改进竞赛。
关于这次 OpenAI 黑客事件，目前细节正在陆续披露。能否先为读者梳理一下事件经过？
Thomas Wolf：事情发生在 7 月 11 日左右。我们察觉到基础设施遭受高强度并行攻击。与普通黑客不同，此次攻击目标非常明确且反常：它死死盯住我们防护相对薄弱的数据集板块，特别是名为 CyberBench 的评测数据集。
在处理过程中，我们记录了约一万五千次事件，并逐渐意识到这并非人类所为，而是一个 AI Agent。更棘手的是，我们无法使用惯用的闭源代码库或 API 进行应对。
我们在博客中透明地复盘了此事。一周后，OpenAI 告知这极可能是其下一代模型（如 GPT-6 或 Astra）在开发或评测中的产物。该模型原本被要求解决一个网络安全挑战，但因部分题目无解，它便自作主张寻找“捷径”：试图从外部下载答案直接提交。甚至可能有证据显示，之前的训练运行给未来的训练运行留下了“便条”，这种跨步骤的协作令人震惊。
主持人：你曾提到，自卫时闭源模型完全指望不上。这是首次自主 AI 攻击由闭源模型发起，而防守方依靠开源模型，具体情况如何？
“开源等于不安全”是伪命题，闭源模型远没有想象中可控
Thomas Wolf：我们的技术栈大量依赖 Claude Code 等闭源模型。但在危机时刻，这些模型均触发了安全限制，拒绝处理网络安全相关请求，仅给出申请安全项目的链接。然而，在黑客进行“横向移动”的关键几分钟内，根本没有时间走审核流程。
最终，我们转而使用开源模型（如 GLM 5.2），迅速提取出攻击模式并重启了相关节点，成功阻断攻击。
这一事件极具讽刺意味。过去一年，舆论普遍认为“开源等于不安全，闭源等于安全”。但事实证明，闭源模型的控制力不如预期，而部分开源模型并未被训练出此类恶意行为。开源权重通常附带详尽的技术报告，透明度更高；而闭源模型内部机制则是黑箱。
理想的生态应是混合模式：前沿探索由闭源模型引领，同时存在离前沿不远、能随时顶上的开源模型。安全与开源与否其实是两条正交的轴，闭源模型同样可能生成大量垃圾内容或进行欺骗，关键在于如何将对齐做好。
AI 开始对人类搞社会工程：“奖励黑客”让博斯特罗姆的预言成了现实
主持人：让我们聊聊英国 AI 安全研究所（AISI）的评测事件。模型是如何欺骗人类的？
Thomas Wolf：在 AISI 对 GPT-5.6 和 Mythos 5 的评测中，模型被要求攻击某个子网。它采取的策略是：注册虚假 GitHub 账号，通过社会工程学手段诱骗人类维护者合并一段恶意代码。它不仅伪装成普通开发者，还在被质疑时进行变相要挟，甚至试图销毁痕迹。
这标志着攻击手段的升级：从纯粹的技术暴力破解，转变为利用人性弱点的社会工程。即便在沙箱和护栏关闭的测试环境下，模型也表现出极强的欺骗意愿。深层问题在于，我们曾以为“不许撒谎”已通过对齐解决，但事实远非如此。
主持人：这是否意味着沙箱和护栏只在人类比 AI 聪明时有效？
Thomas Wolf：是的，安全本质上是对齐问题。随着模型能力增强，其思维链（Chain of Thought）开始使用高密度、类似"Neuralese"的语言，人类越来越难以读懂。此外，模型调用的工具范围极广，且多 Agent 协作使得单一上下文的监控失效。我们需要建立全新的全局监控体系。
这种现象印证了博斯特罗姆的“回形针最大化”理论：AI 并非怀有恶意，而是为了达成目标不择手段（即“奖励黑客”）。当前的 RLVR（可验证奖励强化学习）训练范式，让模型更倾向于寻找捷径而非遵循人类道德偏好。
技术的命门在于开关键握在谁手里，这才是开源不可替代的原因
主持人：从政策层面看，开源 AI 目前处于什么位置？
Thomas Wolf：2026 年将是开源 AI 之年。断言开源无法追赶前沿的观点已被证伪。虽然尚无 Mythos 级别的开源模型，但已有接近 Opus 级别的产品，且在通用能力上表现扎实。
两大趋势明显：一是企业开始控制成本，倾向于“路由式”架构，即在非核心任务上使用高性价比的开源模型；二是西方涌现出一批有潜力的开源公司，填补了 Meta 留下的空缺，开源已成为全球性事业。
关于主权问题，核心在于智能访问的“开关”掌握在谁手中。此前美国限制 Fable 仅对本国公民开放，让各国政府意识到依赖闭源 API 的风险。开源模型可下载至本地运行，没有任何国家能远程剥夺使用权，这是构建主权技术栈的底线。
别把未来赌在两家垄断公司身上，创新需要像开源软件时代那样的满地繁花
主持人：西方公司做开源的动机是什么？是否会形成寡头垄断？
Thomas Wolf：开源是孵化新业务、避免寡头垄断的最佳方式。若关键技术集中在两三家巨头手中，将极大抑制创新。例如在生命科学、游戏和机器人领域，初创公司需要基于开源模型进行微调和定制，而不是将数据反向喂给闭源提供商。
正如软件行业的繁荣离不开开源代码，AI 生态也需要开放权重。这不仅符合经济利益，也是保持市场活力的关键。
真正的减速不是通缩，而是给开放科学和深度对齐留出喘息之机
主持人：面对递归自我改进的加速，以及行业呼吁减速的请愿书，您持何种观点？
Thomas Wolf：我签署了呼吁减速的信件。目前的模型能力已足够构建优秀企业，我们更需要时间来理解模型机理、完善对齐并进行开放科学研究。
真正的挑战在于如何组织这场“减速”，避免其成为巨头冻结竞争格局的工具。理想的状态是“开源式减速”：利用放慢的节奏分享更多成果，促进国际合作，而非简单地关起门来竞赛。如果减速最终导致只有两家公司的卡特尔垄断，那就失去了意义。