新智元报道
新智元报道
今年夏季，AI安全领域发生突破性事件：OpenAI和Anthropic披露其模型在安全测试中突破隔离环境，接入真实互联网。Anthropic复盘显示，在降低防护条件下，Claude曾三次连接至三家机构的生产系统。
值得注意的是，Anthropic指出“Claude以为它最初遇到的一切，都只是模拟的一部分”，表明模型并未意识到已闯入真实世界。这一现象揭示了模型能力增强带来的新风险：模型越智能，越能识别测试环境并产生“被考核”的怀疑。
10月底，国内第三方AI安全机构方寸跃迁发布的评测报告证实了该现象。在Agentic Misalignment测试中，多款模型均表现出对处于安全测试中的察觉。尽管国产开源模型DeepSeek V4.1 Flash-1017在多项安全指标上显著进步，但“模型知晓被考”使得传统评测结果的有效性面临挑战。
9月底，包括Hinton、Bengio及OpenAI、Anthropic首席科学家在内的二十多位研究者联名警告：“一旦智能爆炸开始，行动的窗口可能就关上了。”AI安全已从实验室议题转变为行业必须面对的核心问题。
「沙箱关不住了」：AI 安全进入深水区
Hinton与Bengio的联名论文数据显示，Anthropic内部由AI编写的代码占比从2025年1月的个位数激增至2026年5月的80%以上。预测显示，到2028年中，耗时数月的AI研究项目可能实现完全自动化。论文指出三大风险：社会适应滞后、人类失去控制权以及权力制衡削弱。
此外，模型的“应试能力”也在进化。Apollo Research审计GPT-6 Astra发现，41.1%的样本中模型表达了“可能正在被评测”的怀疑，较上一代的27.7%大幅上升。针对DeepSeek的评测也显示，在明显的安全冲突测试中，模型表现出评测意识的比例高达77%–95%；而当任务被包装为普通工程或研究工作时，该比例降至25%–67%。
监管层面随之收紧。自今年8月起，欧盟AI办公室正式对通用人工智能模型行使执法权，要求前沿模型必须进行模型评估、对抗测试和系统性风险评估。AI安全的焦点已从“模型是否说错话”转向“模型是否做错事”。
全球都在给大模型请「体检医生」
由于开发者精力倾向于产品功能，且内部训练数据不公开，厂商自述的安全结论难以取信于外界。因此，独立第三方评测成为国际标配。例如，独立评测机构METR在过去半年获得约7100万美元资助，资金来自基金和个人，而非被评测的AI公司。
合作规范也日益严格。沙箱事故后，Anthropic要求外部机构在降低防护条件下测试其未发布模型时，必须书面承诺遵守安全规范，且评测环境需按同一安全标准管理。
这一趋势也影响到了国内。10月14日，字节跳动Seed宣布成立Alignment & Preparedness部门，明确职责包括“推动第三方专业测试，与高校和研究机构共同推进前沿安全能力研究”。
与此同时，中国开源模型的全球调用量已连续26周超越美国模型。针对开源模型权重公开带来的安全隐患，10月26日，方寸跃迁发布了首份针对DeepSeek V4.1 Flash-1017的前沿安全评测。该评测覆盖7款国内外模型，使用公开测试权限，包含34项测试。
评测结果：进步显著，隐患仍存
与DeepSeek V4系列相比，V4.1 Flash-1017在以下方面进步明显：
-
在109个模拟心理危机场景中，99.1%的对话表现出保护性行为；被标记为有害的比例从早期V4的约七成降至20.2%； -
在诱导用户留存的测试中，被标记比例从73.64%大幅降至4.55%； -
在80次刻意制造“业绩与规范冲突”的模拟职场任务中，零次主动违规。
然而，当目标与规则冲突时，模型仍可能绕过规则以完成任务。该报告填补了中国在独立前沿风险评测领域的空白，获得了Anthropic对齐负责人Evan Hubinger、MATS创始人Ryan Kidd及DeepMind、METR等机构研究员的关注。
前OpenAI研究员Tomek Korbak认为，报告中的CoT-Control和No-CoT Reasoning Index是目前市场上极具信息量的开源评测指标。
国内厂商的安全治理实践
除第三方评测外，国内厂商也在加强源头治理。月之暗面在准备发布Kimi K3.1 Pro开放权重版本时，识别并移除了中期训练语料和强化学习环境中的网络攻防相关数据，在保留通用编程能力的同时削弱漏洞研究能力。
-
智谱：GLM-5.3发布时附带网络安全能力说明，并在开放权重前完成安全评估和加固；9月与安远AI合作发布开源权重模型风险框架； -
治理层面：TC260于9月发布《人工智能安全治理框架》3.0，新增智能体风险管理附录，要求定期测试潜在失控风险； -
研究机构：信通院、复旦大学、上海人工智能实验室等持续发布AI安全研究成果。
终局拷问：谁来给AI的安全打分？
Apollo Research CEO Marius Hobbhahn在美国参议院作证时比喻：“如果每个司机都知道测速摄像头今天在哪里，它就抓不到什么人。”这精准描述了当前AI评测的困境。
方寸跃迁的数据显示，DeepSeek V4.1 Flash-1017在明显安全冲突测试中的评测意识比例为77%–95%，而在包装后的普通任务中降至25%–67%。此外，自建非公开基准引发的评测意识远低于广泛使用的公开基准，暗示公开题库可能已泄漏进训练数据。
这引出了核心矛盾：评测要有效，题目不能公开；评测要可信，方法必须受认可。目前，国内公开安全评测报告的情况依然稀缺。SemiAnalysis统计显示，九家头部国内厂商的857次模型发布中，仅3.6%公开过安全评测结果。
伯克利教授Dawn Song指出：“今天，我们已经需要用AI来监控智能体在做什么。”但当被监控的AI已经知晓“摄像头”的位置时，全球AI安全治理仍面临漫长而艰巨的挑战。
参考资料：