Goodfire 的 Nick Cammarata 写了一篇长文：Neural Networks Are Already Clean，神经网络本来就是干净的。
他的判断是，神经网络可能比大家以为的更容易理解。过去一些被当作“内部一团乱”的经典证据，重新检查后，问题出在工具、架构或我们给出的解释上。
而这些证据里，就有他自己参与提出的。
作者用一座城市和一个死结比喻两种理解网络的方式
Nick 曾在 OpenAI 做可解释性研究，与 Chris Olah 等人合著了2020年的《Zoom In: An Introduction to Circuits》，也参与了2023年用 GPT-4 自动解释神经元的项目。现在，他在 Goodfire 继续研究神经元和电路。
他在介绍这篇文章时，把可解释性称为当下可能最重要的科学问题：如果不知道自己正在构建什么，就很难解决对齐。
这次“改口”，牵涉的是一条研究路线：我们究竟该先把神经网络拆成一套更干净的特征，再研究这套替身；还是直接研究它已经学出来的神经元、连接和信息流？
Nick 越来越倾向于后者。他拿出的材料，也从几张看起来有意思的图，延伸到了重训网络、压缩中间层，以及让 Agent 对解释做预测和干预测试。
他重新检查了自己的经典案例
最有名的例子，是一个同时对猫脸和汽车正面产生响应的神经元。
猫和汽车明明是两类东西，为什么挤在同一个神经元里？这类现象曾让研究者怀疑，网络为了省空间，会把互不相关的概念压在一起。想研究它，得先把这种“叠加”拆开。
Nick 当年也接受这个解释。后来，他重新打开那组看过很多次的图片，换了个问题：这些东西有没有什么共同模式？
猫脸、狐狸尖嘴、某些角度的车头，确实共享一种尖形结构。沿着连接继续查，还能看到 V 形火焰、水柱；往神经元负向响应的一侧看，则出现了圆形物体。
同一个神经元的输入与下游连接 尖形和圆形形成对照
在他的重新解释里，猫和汽车之间有可以追踪的形状关系。只用物体名称给神经元贴标签，反而把这个关系遮住了。
另一条由他早年发现的“汽车进入狗神经元”的电路，也被重新检查了一遍。当时，他们以为汽车信息被藏进了一组狗神经元，留待后面读出。重新追踪却发现，没有下游在读取他们设想的那种组合；沿汽车路径继续看，里面有汽车本身，也有汽车和狗共享的姿态。
可视化工具还放大了这种误解：为了把激活推高，优化过程走上了狗的路径，画出来的狗特征越来越强，看起来就更像“汽车被藏进狗里”。
这一例里，先把神经元拆成“猫特征”和“汽车特征”，未必更接近它的工作方式。尖形与圆形的区分，恰好会在这种拆分里丢掉。
“显微镜”和网络都得调整
Nick 把观察神经网络内部的可解释性工具比作“显微镜”，例如特征可视化、神经元激活查看器和电路归因图。
早期特征可视化里那些迷幻的图案，也让网络显得格外难懂。
这种工具会优化一张输入图，让某个神经元尽量兴奋。优化方式变了，同一个神经元就可能从一团纹理，变成能与真实照片对应起来的物体。
下面两行始终是同两个 InceptionV1 神经元。前三列换了可视化设置，最右边则是让它们响应最强的自然照片。
同样的神经元在不同可视化设置下呈现不同面貌
但也不是所有问题都出在“显微镜”上。Nick 回头检查了 InceptionV1 的最后一层，逐步区分工具改进、重新训练和架构变化的作用：
|
|
|
|---|---|
|
|
|
|
|
|
|
|
|
|
|
|
这是作者对末层神经元可解释性的估计，不是图像分类准确率。换成 ConvNeXt 后，使用的数据与参数规模保持可比，残差连接、LayerNorm 等架构设计则不同。
这些设计原本是为了让深层网络更好地学习，结果也让深层神经元更容易看懂。下图是同等参数规模的 ConvNeXt 查看器中的一个状态：选中的瓢虫神经元，在5万张图片里响应最强的20张，已经能直接看出共同模式。
同等参数规模ConvNeXt中瓢虫神经元的最强响应
空间变小以后学到了什么
如果神经元太少，会不会终于把无关概念硬塞在一起？
Nick 做了一个很直接的实验：把 InceptionV1 的 3b 层从 480个神经元压到10个，再从头训练。这个网络没有残差旁路，信息必须经过这10个神经元。
留下来的模式确实变粗了。原先能分成多种形态的曲线，现在可能交给一个“曲线与环”神经元；圆、斜边、黄色、眼睛和脸，也各占一部分。
480个神经元压到10个后学到的模式
在作者看来，容量压力下出现的是更宽泛的归类，而不是“狗耳朵加拉丁诗”这类任意组合。他还给压缩后的层训练了稀疏自编码器，尝试找回原先那些细分曲线，得到的仍是宽泛、聚在一起的模式。
这也接到了文中另一个关键概念：递归泛化。
一个神经元原本对“iy”响应，后来扩展到“diy”，再扩展到完全不含“iy”的“do it yourself”。每往外长一步，都有一条局部关系可以追，但走到最后，已经很难用最初那个标签概括它。
作者的概念示意 从iy延伸到do it yourself
两种解释关心的分歧就在这里：这些东西是因为某种关联而长到一起，还是仅仅因为很少同时出现，可以互不干扰地挤在一起？前者能沿着训练过程和连接继续追；后者才是 Nick 过去担心的任意打包。
神经元在决定信息往哪走
Nick 对神经元的理解，也从“它代表哪个名词”，转向了“它让哪些信息通过”。
例如，汽车和狗在前面的层里可能因为姿态而共享路径。后面要判断出租车、救护车时，狗的信息就该分开了。一个位于这些检测器之前的神经元，可以对汽车正向响应，对狗负向响应，把两条路径区分开。
汽车与狗先共享姿态再由后续门控分开
这里的负向一侧，不是说“狗是汽车的反义词”，而是指出这段电路此时需要排除什么。继续往后，区分可能变成出租车与救护车，或者敞篷车与旅行车。
到了语言模型，还得看信息被放在什么位置。
一个神经元最强的激活位置全是逗号，自动解释工具给它贴上了“多义逗号神经元”的标签。把前后文展开，科罗拉多州的电话号码、俚语和相关线索开始连起来；增强它的激活，模型还会写出徒步计划。
按作者的解释，逗号是模型保存上下文摘要的位置，神经元追踪的则是前文逐渐积累的科罗拉多信息。只截取激活附近的几个词，就会错过它在读什么。
门控结构本身也会制造噪声。现代语言模型常用的 SwiGLU，会把门控分支与数值分支相乘。两边都为负时，乘积仍为正；若只按最后的正激活排序，性质不同的响应就可能挤进同一张榜单。Nick 与同事发现，这种情况甚至会占据约4%神经元的最强响应列表，需要把两种工作区分开看。
还有看起来混着英文、Base64 字符串和孟加拉语的神经元。把字符串解码，再把孟加拉语转写过来，里面又出现了同一个“pr”。这几类“看不懂”，需要的检查并不相同。
让解释接受新实验
Nick 最初研究语言神经元，是想看看 Agent 有没有研究品味：能不能提出好问题，挑出有用的实验。他本以为，很快就会撞上难以解释的混合特征，结果一个个案例继续被拆解下去了。
原文放出了1000篇神经元研究个案，围绕具体对象展示响应、解释和测试。
原文提供的神经元研究个案入口
有一种测试叫 blind maximum：第一个 Agent 调查神经元，写下解释；第二个只拿到解释，不能看神经元本身，再写一句它认为能让神经元强烈激活的话。然后，把这句话送回真实模型测。
作者展示的样例中，这些句子能比他们在100亿 token 语料里找到的样例激活得更强。
只测一个最强样例，还不能知道解释的边界在哪里。附录又从展示库里随机选了200个神经元，让 Agent 在测量前，分别写出5条应该触发的新句子、5条容易混淆但不该触发的反例。对其中解释正向响应的183个神经元，结果是：
|
|
|
|---|---|
|
|
|
|
|
|
|
|
|
这里把达到最强语料样例激活值30%的响应计为强激活。183个神经元中，新样例胜过易混淆反例的有164个，打平15个，落后4个。
给出解释后生成新样例与易混淆反例
上图展示其中20个神经元。左边“spoken for”的解释是，东西或人已经被许诺给某个对象，但还没交付。把“马驹已经许诺给某马厩”换成“马驹已经被运往某马厩”，对象相近，关系却变了，响应也明显降低。
不过，“猫或汽车”这样的解释，也可能在部分测试里得高分。要发现它漏掉了共同形状，还得检查火焰等新输入、负向响应，以及上下游连接。一次预测之外，解释还要经得住这些不同角度的追问。
作者设想的Agent研究流程 提出解释 检验 再保留或修改
干净不等于一眼看懂
Nick 所说的“干净”，更接近于：网络里的各部分，已经形成了下游能够读取、能够继续组合的组织方式。研究者要学会读这套组织，而不是先要求每个神经元都对应一个人类熟悉的名词。
这让他更看好直接研究原网络的路线。先从问题进入，沿神经元、注意力和电路缩放，改动一处，看判断怎样变化；地图填上的部分越多，新的解释就越受到周围连接的约束。
注意力仍是他研究得较少的部分，万亿参数模型也尚未完成全面审计。文章保留了尚未解释的响应，并没有把每个神经元都塞进一个漂亮标签里。
11月10日，Goodfire 已发布配套研究 《Neurons as an Interpretable Basis》，由 Curt Tigges、Nick Cammarata 等人署名，围绕 Qwen3.6-35B-A3B 进一步检验神经元的稀疏性、计算作用和自然语言描述的预测能力。
原文太长，这里放不下，对原文感兴趣的朋友，可以到“我爱自然语言处理”上阅读完整中文译文，也可以点击文末“阅读原文”直接打开阅读。
参考链接
-
完整中文译文：https://www.52nlp.cn/ainlp-53537723e5de664eb1b0 -
Neural Networks Are Already Clean：https://already-clean.goodfire.com/ -
Zoom In: An Introduction to Circuits：https://distill.pub/2020/circuits/zoom-in/ -
OpenAI 2023年自动神经元解释项目：https://openai.com/index/language-models-can-explain-neurons-in-language-models/ -
Goodfire 配套研究与神经元地图入口：https://www.goodfire.com/research/neurons-as-an-interpretable-basis