堪比Transformer奠基论文？这篇研究让AI圈吵起来了- 大数跨境

APPSO

2026-10-26

导读：AI 真的是黑箱吗？

一篇关于人工智能可解释性的最新文章在业界引发广泛关注，甚至获得 OpenAI CEO Sam Altman 的公开赞赏。研究员 Adam Majmudar 评价其为“今年最重要的成果”，认为其重要性堪比《Attention Is All You After》，标志着 AI 对齐研究从“能否解决”迈向“即将解决”的新阶段。

文章作者 Cammarata 指出，在当前 AI 安全焦虑弥漫的背景下，这项研究为政策制定者和研究人员提供了一条关键的“生命线”。其核心观点大胆提出：大型神经网络的内部结构可能比预想中更具规律性和可理解性。

尽管反响热烈，伯克利 Alignment Research Center 的研究员 Jacob Hilton 持保留意见。他指出，目前研究者对顶级大语言模型（LLM）内部运作的了解仍不足 0.01%，Cammarata 的乐观可能给公众呈现了一幅不切实际的图景。

黑箱迷思：我们是否误读了神经网络？

神经网络作为大模型的基础，由层层连接的神经元组成。Cammarata 作为该领域的资深研究者，早年曾参与构建影响深远的理论框架，但如今他对“叠加假说”提出了新的反思。

过去，研究者发现单个神经元会对猫脸和汽车前部等不同概念产生反应，因而提出了“叠加假说”：由于概念众多而神经元有限，网络被迫将不同概念挤入同一表示空间。为此，学界开发了稀疏自编码器等工具试图拆解这些纠缠。

远处传来的几乎平面波（对角线）与鸭子航迹产生的波之叠加，在水中只近似满足线性关系

Cammarata 现在认为，之前的解释可能过于复杂。那些看似无关的概念共享着底层的几何特征。例如，猫脸轮廓、汽车尖角、火焰舌形和水流分叉，本质上都遵循同一种“V 形结构”视觉规律。

另一项曾被视为“叠加”证据的研究显示，识别汽车的特征隐藏在狗的神经元中。Cammarata 重新分析后指出，这并非概念混淆，而是因为狗和汽车在图片中常以相似的正对镜头姿态出现，共享了角度规律。

递归泛化：复杂源于简单的扩展

通过改进架构和分析方式，Cammarata 发现早期视觉模型 InceptionV1 最后一层约 99% 至 100% 的神经元均可得到清晰解释，且这种可读性在不同规模的模型中得以保留。

他提出“递归泛化”概念来描述这一现象：神经元从狭窄模式出发，逐渐延伸出相关分支。例如，一个最初识别字母组合「iy」的神经元，可能随训练延伸至「diy」及语义相关的「do it yourself」。若追踪学习路径，这些看似分散的反应实则存在连续关联。

初步验证显示，在 Qwen3-32B 模型中，约 90% 的神经元正负响应方向具有单一主要功能，约 7% 涉及两个相关功能，未解部分仅占 2% 至 4%。这表明复杂现象更多源于普通模式的扩展与组合，而非概念的随机堆叠。

越理解，越安全：从结果评估到机制干预

可靠追踪模型内部信息流，使安全研究能从观察结果深入至分析机制。研究者可以识别特定神经元和计算回路，通过干预实验观察内部机制变化对模型行为的影响，从而进行更有针对性的检验。

这种方法将安全评估推进至行为产生的内部过程，有望降低理解成本，帮助研究者绘制更完整的模型内部地图。

然而，内部机制不等同于心理学概念。与欺骗有关的神经元不代表模型拥有“欺骗意图”。研究者需结合神经活动观察、干预、反事实测试等多重证据进行验证，避免将统计关联误读为因果理解。同时，传统的红队测试、访问控制等安全措施仍不可或缺。

AI 治理终局：技术之外的权力安排

Sam Altman 近日提出 AI 长期安全的三种可能结局，将问题引向制度层面：

建立国际监管机构：类似国际原子能机构，制定并执行全球安全标准。但这面临模型易复制、迭代快、核查难及国家间竞争等挑战。
整合所有实验室：将所有 AI 研发纳入单一机构，共享资源与安全成果，统一审查高风险实验。但这可能导致权力过度集中，缺乏制衡，一旦管理层判断失误，整个技术体系将面临系统性风险。
巨头垄断控制：某开发者凭借资本和算力优势，切断其他潜在危险开发者的资源。Altman 明确表示这是最不希望看到的局面。

Cammarata 的研究为上述治理难题提供了技术基础。若能有效识别模型关键机制，将有助于改进安全评估和审计。随着技术演进，社会不仅需要具备看懂模型的能力，更需建立可靠的监督机制，确保掌握技术者始终受到约束。

【声明】内容源于网络

APPSO

AI第一新媒体，「超级个体」的灵感指南。 #AIGC #智能设备 #独特应用 #Generative Al

内容 15866

粉丝 0

APPSO AI第一新媒体，「超级个体」的灵感指南。 #AIGC #智能设备 #独特应用 #Generative Al

总阅读546.0k

粉丝0

内容15.9k