超位置(Superposition)
二维空间中存放五个特征:当各个特征很少同时被激活时,神经网络可以存储比自身维度数量更多的特征,但代价是特征之间会产生相互干扰。 演示页面:https://tsglab.github.io/mechinterp-safety/demos/superposition/
作者
Fazl Barez¹,²,†,*,吴东育(Tung-Yu Wu)¹,† Hunar Batra¹,Gabriele Dominici³,Florent Draye⁴,Yanai Elazar⁵,Damiano Fornasiere⁶,Antía García²,Abir Harrasse²,Riley Harris¹,Sara Hooker⁷,Michael Lan²,Belinda Z. Li⁸,⁹,Aaron Maiwald¹,Narmeen Fatimah Oozeer²,Naomi Saphra¹⁰,Or David Shafran¹¹,Adi Simhi¹²,Robert Trager¹,Shriyash Kaustubh Upadhyay²,姚子瑜(Ziyu Yao)¹³,赵宇(Yu Zhao)¹,¹⁴ Shay B. Cohen¹⁴,‡,Mor Geva¹¹,‡,约书亚・本吉奥(Yoshua Bengio)¹⁵,⁶,‡,Stella Biderman¹⁶,‡,Hassan Sajjad¹⁷,‡
† 核心贡献者。‡ 资深指导专家。其余作者按姓氏字母顺序排列。
-
通讯邮箱:fazl@robots.ox.ac.uk
单位归属
牛津大学 Martian(机构名) 瑞士意大利语区大学 马克斯・普朗克智能系统研究所 巴伊兰大学 LawZero Adaption Labs 麻省理工学院 Anthropic 波士顿大学 特拉维夫大学 以色列理工学院 乔治梅森大学 爱丁堡大学 蒙特利尔大学 Mila 实验室 EleutherAI 纽约大学阿布扎比分校 & 达尔豪斯大学
摘要
本文是一份面向 AI 安全领域的可解释性综述,聚焦机制可解释性(Mechanistic Interpretability, MI):该方向旨在研究神经网络的内部表征与计算过程,建立因果层面的理解,并支撑针对性的模型干预手段。 我们首先将机制可解释性置于更广阔的可解释性研究版图中,对比机制层面证据与行为评估的差异,同时说明行为评估、归因方法、表征分析方法可以和机制分析形成互补。 我们从第一性原理出发介绍机制可解释性的基础核心概念:特征、多义神经元(polysemanticity)、超位置、Transformer 计算、计算回路(circuits);并系统梳理各类技术路线:特征提取与分析、回路挖掘与因果验证、中间表征解读、训练数据归因、学习动力学、知识定位、表征引导。 随后,本文划分出六大研究范式:务实派、宏大愿景派、发展视角派、跨时序可解释性、自省式可解释性、自动化可解释性。这六类范式是按照研究目标、底层假设、取舍权衡来定义的,并非彼此互斥的方法集合。 最后,我们探讨机制层面认知如何支撑安全干预方案,包括知识编辑、表征引导、监控、自动化可解释智能体;同时评估这些手段的局限、失效模式、待解决的开放问题,以及它们和行为安全评测之间的关系。
目录:综述分为四大部分
第一部分
链接:https://tsglab.github.io/mechinterp-safety/handbook/limits-of-behavioural-evaluation/ 基础理论与核心假设 行为评估的局限性・可解释性方法总览・核心概念・核心假说
第二部分
链接:https://tsglab.github.io/mechinterp-safety/methods/ 可解释性研究的主流技术方案 特征提取与分析・计算回路・理解中间表征・表征分析・学习动力学・训练数据归因
第三部分
链接:https://tsglab.github.io/mechinterp-safety/orientations/ 六大研究范式,由目标、假设、取舍权衡刻画 务实型可解释性・宏大愿景型可解释性・发展型可解释性・跨时序可解释性・自省式可解释性・自动化可解释性
第四部分
链接:https://tsglab.github.io/mechinterp-safety/safety/ 面向部署的干预方案,以及尚存的关键难题 安全落地应用・开放问题
图示
链接:https://tsglab.github.io/mechinterp-safety/static/images/survey_overview.png 综述整体逻辑框架概览,分为四大支柱: (1)动机与基础概念:包含基础理论、核心假说; (2)技术方法:详述可解释性研究用到的各类方案; (3)研究方向:梳理领域内主流研究路线; (4)安全与开放问题:对齐方向里面向部署的干预手段、关键挑战。
网站导览
阅读全文 → https://tsglab.github.io/mechinterp-safety/handbook/按章节阅读完整综述 横向对比方法 →https://tsglab.github.io/mechinterp-safety/methods/并排对比综述里的各类方法 评判标准 →https://tsglab.github.io/mechinterp-safety/evaluation/评估可解释性相关结论的五大维度 范式总览 →https://tsglab.github.io/mechinterp-safety/orientations/六大研究路线及其取舍权衡 落地应用 →https://tsglab.github.io/mechinterp-safety/safety/安全场景应用与开放问题 交互演示 →https://tsglab.github.io/mechinterp-safety/demos/超位置、稀疏自编码器、激活值补丁实验 配套代码 →https://tsglab.github.io/mechinterp-safety/notebooks/19 份配套代码笔记 方法分类图谱 →https://tsglab.github.io/mechinterp-safety/static/images/survey_taxonomy.png 本综述覆盖的可解释性方法分类体系。引用文献按发表状态标色:橙色代表正式见刊成果,绿色代表未经过同行评审的研究产出。
arXiv 链接:https://arxiv.org/abs/2611.08438 · https://www.alphaxiv.org/pdf/2611.08438 BibTeX:
@misc{barez2026understandingaiinsidestate,
title={Understanding AI from the Inside: The State of Mechanistic Interpretability for AI Safety},
author={Fazl Barez and Tung-Yu Wu and Hunar Batra and Gabriele Dominici and Florent Draye and Yanai Elazar and Damiano Fornasiere and Antía García and Abir Harrasse and Riley Harris and Sara Hooker and Michael Lan and Belinda Z. Li and Aaron Maiwald and Narmeen Fatimah Oozeer and Naomi Saphra and Or David Shafran and Adi Simhi and Robert Trager and Shriyash Kaustubh Upadhyay and Ziyu Yao and Yu Zhao and Shay B. Cohen and Mor Geva and Yoshua Bengio and Stella Biderman and Hassan Sajjad},
year={2026},
eprint={2611.08438},
archivePrefix={arXiv},
primaryClass={cs.CL},
url={https://arxiv.org/abs/2611.08438},
}
术语注释
- Mechanistic Interpretability (MI)
机制可解释性,区别于事后归因,目标是找出模型内部固定的计算回路、因果机制 - Polysemanticity
多义性 / 多语义神经元,单个神经元同时编码多个无关特征 - Superposition
超位置,特征数量大于表征维度,特征重叠存储 - Circuits
计算回路,Transformer 内部一组协同完成特定功能的注意力、MLP 子网络 - Activation patching
激活补丁,经典因果干预实验,修改一处激活看输出变化 - Sparse autoencoder (SAE)
稀疏自编码器,当前提取模型特征最主流工具 - Representation steering
表征引导,在激活空间里直接修改向量,控制模型输出

