文章被誉为年度“最重要的文章”、“最重要的成果”和“年度最佳新闻”,至可能是人工智能研究史上——乃至有史以来——最棒的新闻。就连OpenAI首席执行官萨姆·奥特曼(Sam Altman)也对其赞不绝口。卡马拉塔对人工智能的本质提出了一系列大胆而近乎惊人的论断,如果属实,将颠覆人工智能行业对其正在构建的技术的一些基本假设。在经历了数月的人工智能黑客攻击和公众对该行业的强烈抵制之后,许多人将卡马拉塔视为理解乃至控制这项即将席卷全球的技术的一线希望。”
以上是《大西洋月刊》杂志上的一篇文章的开头,对一篇 25000 字左右的论文推崇备至。我们找到了原文,用 AI 做了一个要点简写版,分享给大家,做个参考。如果想看原文,可以到goodfire.com 的网站上仔细阅读。
下面就是概要版文字:
我们知道 AI 能写文章、回答问题,却很难说清它内部究竟怎样得出答案。就像一台机器不断产出结果,我们却看不懂里面的零件如何配合。
Goodfire 的这篇文章提出了一种乐观的看法:AI 内部可能本来就有规律,过去觉得它混乱,一部分原因可能是观察的方法不够好。作者希望研究者重新认真看看模型本身,弄清它实际是怎样工作的。
一、过去为什么觉得 AI 内部很乱
神经网络由大量小计算单元组成,研究者把它们叫作“神经元”。要理解模型,一个自然的办法就是逐个研究这些单元,看看它们分别负责什么。
但早期研究发现,有的单元看到猫脸会活跃,看到汽车前部也会活跃。猫和汽车明明是两种东西,为什么会引起同一个单元的反应?
当时,一种重要解释是:模型的空间有限,只好把不同知识挤在一起。因此,研究者开始借助额外工具,尝试把混合的信息拆开,再去理解。
作者曾经也相信这个解释。但经过更多观察,他开始怀疑:我们认定这些内容毫无关系,会不会是因为还没有找到它们之间的联系?
二、看起来不相关,可能是没看见中间过程
文章举了一个例子:某个神经元最初识别字母组合“iy”,后来扩展到包含这两个字母的“diy”,再后来,又能识别“do it yourself”,也就是“自己动手做”。
最后一种表达已经没有“iy”了。如果只看起点和终点,很容易觉得这个单元把不相干的内容混在了一起。但把过程连起来,就会发现:它先沿着字母上的联系扩展,再沿着意思上的联系扩展,每一步都有来由。
作者把这种现象称为“递归泛化”。用更简单的话说,就是新本领沿着已有联系不断长出来,像树枝长出小枝,小枝再继续分叉。
这意味着,同一个单元识别多种内容,未必就是混乱。它可能有自己的组织方式,只是这种方式不完全符合人类习惯的分类。
作者还观察到,小模型往往分得比较粗,例如一个单元负责识别多种汽车;模型容量增大后,才出现更细的分工。在他研究的一些模型中,改进模型设计和观察工具,也让许多原本难以理解的单元变得更容易解释。
这些发现使他相信:我们可以从模型现有的结构入手,逐步弄清它的工作方式。
三、解释得通,还要通过实验检查
提出一个听起来合理的解释还不够,研究者必须用实验检查。
文章提到,有些神经元识别的东西相当细腻,比如“花小钱买到比贵货还好用的东西,觉得自己选对了”的满足感。它关注的是整句话表达的情境,强烈反应却可能出现在逗号的位置。
这是因为模型可能恰好在逗号处汇总前面的意思。如果只盯着那些逗号,当然很难找到规律。研究者需要读完整段话,看看前面发生了什么,以及模型接下来准备表达什么。
接着,还要检查这个单元从哪里接收信息,又影响哪些后续计算。研究者可以主动增强它的活动,观察模型的回答是否朝预想方向变化;也可以换一批例子,看看原先的解释还成不成立。
这就像修机器:先猜哪里出了问题,再检查连接、调整零件,看结果是否符合预期。对 AI 的解释,也必须经得起这样的反复检验。

四、理解一部分,会帮助我们理解更多
作者认为,这项研究很像拼图。
刚开始时,每块拼图都陌生,谁和谁相连也看不出来。但一旦拼出一小片,旁边的碎片就更容易找到位置。理解模型也是如此:知道某个单元负责什么,就能为理解与它相连的其他单元提供线索。
因此,研究不一定始终同样困难。随着已知部分增加,新的解释会得到更多支持,也更容易暴露错误。自动化研究工具还可以帮助人们扩大观察和实验的规模。
这是文章让人乐观的地方:我们也许可以通过持续观察、提出猜想和做实验,一点点画出 AI 的工作地图。
不过,作者提出的仍是一套有待更多实验验证的解释,大型 AI 也远没有被彻底看懂。标题中的“干净”,指的是内部结构可能更有条理,并不代表模型已经安全、不会出错。它带来的是一个更有希望的研究方向,实际能走多远,还需要继续验证。



