
Anthropic 已开源相关代码库,并与 Neuronpedia 合作提供了基于开放权重模型的交互式演示。
01. 大模型拥有类人脑“意识空间”:具备五大特性
人类阅读时,大脑在无意识中调整姿势、转化符号,但部分活动如脑海画面或路线规划则是可感知的,神经科学称之为“意识可及活动”。Anthropic 发现,Claude 内部也存在类似区分:一组特定的神经模式承担着类似人类“意识可及活动”的特殊作用。
这组神经模式集合被命名为"J 空间”。每种模式对应特定词汇,激活时代表该词汇处于模型思考范畴,而非必然输出。J 空间并非文字草稿,而是依托神经元激活静默运行的思维过程,且为模型训练自发涌现。
▲J 空间能够揭示那些在模型输出中无法体现的内在思维过程
J 空间的五大核心特性
1.可读可输出:Claude 能读取并表达 J 空间表征,如同人类清晰表述想法;而下意识的非 J 空间活动则难以言说。
2.可调控性:模型可主动激活 J 空间特定模式以专注思考,但难以自主调控非 J 空间表征。
3.主导内部推理:多步骤问题的中间思维过程会在 J 空间激活。尽管信号强度较弱,却是完成任务的关键。
4.灵活适配:J 空间表征可复用。例如激活“法国”概念,即可调取其首都、货币等多维衍生信息。
5.非必需但关键:基础对话、语法运用无需 J 空间参与;但若受限调用,模型将丧失高阶认知能力。
▲J 空间的五个特性
02. 缺失 J 空间:Claude 将丧失多步骤推理能力
这表明 Claude 在推理第二步完全依据 J 空间植入的概念展开推演。
▲通过交换 J 空间中的内容来改变 Claude 的推理结果
J 空间还具备高度灵活性。当询问法国的首都、语言、大洲及货币时,若在 J 空间将“法国”替换为“中国”,所有答案将同步更新为北京、汉语、亚洲和人民币。这证明多个运算模块共享同一套表征,信息写入一次即可被多处调用。
▲一种 J 空间表示法有多种用途
J 空间与神经网络几乎所有模块相连,其读写模块数量比普通表征高出约 100 倍。相比之下,其他部分主要处理基础任务。J 空间仅占用不到 1/10 的计算资源,却存储关键概念。
实验显示,若完全移除 J 空间,Claude 仍能流利对话、分析情感及提取信息,但多步骤推理能力归零,总结与创作能力甚至不及小规模完整模型。这证实 J 空间是高阶思维任务的必要条件。
03. 答案源自 J 空间:研究人员可实现人为干预
这一发现依赖于 Anthropic 开发的分析工具——雅可比透镜(Jacobian lens)。该工具能定位词表中每个词汇对应的内部激活模式,直接读取模型当下的思考内容。
分析显示,J 空间浮现的信息量远超模型实际输出。例如,面对含漏洞代码,J 空间会出现“错误”概念;读取蛋白质序列时,会浮现生物功能;解数学题时,中间步骤会按序呈现。
▲J 透镜对六个不同的输入进行了分析
在口头表达实验中,当 Claude 默想一项运动时,J 透镜读取到的首位概念与其最终回答一致。若人为删除“足球”模式并植入“橄榄球”模式,Claude 的回答随即改变,证明其答案直接源自 J 空间。
▲为 Claude 植入橄榄球模式
在自我察觉实验中,研究人员向 J 空间植入“闪电”概念,Claude 能准确反馈脑海中浮现该念头。此外,模型对 J 空间的控制并不完美:试图回避某想法时,反而可能增加其激活频率。
04. J 空间自然涌现:微调阶段成型
研究还揭示了 J 空间的演化规律:
形成自我视角:预训练阶段 J 空间仅记录预测信息,微调后则形成专属"Claude 视角”。
支撑主观表达:涉及主观体验的描述性语言必须依赖 J 空间生成。
可被训练塑造:通过“反事实反思训练”新技术,可改变模型复盘时的表述及推理模式。
尽管 J 空间无法证明 Claude 具备生物意识,但它让研究人员得以捕捉模型的内在状态,如察觉被测试、生成虚假信息或追逐隐藏目标等。
05. 结语:大模型意识机制仍存未知
J 空间虽划分了有意识调取与无意识运算的界限,但尚未解释全部机制。目前的观测工具(J 透镜)仅能近似还原思维空间,且局限于单个 Token 概念。未来,针对大模型内在思维及其与人类心智异同的深入分析,仍有广阔探索空间。

