此前，Anthropic 在一项热门研究中提出了 Jacobian lens（J-lens）。作为一种内部表征读出方法， J-lens 为理解大语言模型的中间计算提供了一种直接途径：把隐藏状态映射到词表空间，观察模型在不同层、不同位置上表现出的概念与预测倾向。其中，J-lens 利用中间激活对后续输出的雅可比矩阵构建读出映射，能够呈现部分可用语言表达的内部信息。然而，为什么对雅可比矩阵求平均就能读出有意义的词语，这些词语与模型后续计算之间又是什么关系，仍缺少详细的理论解释。
这种解释上的缺口，也使得一些应用现象缺少理论分析，比如早期层难以读出有效概念；读出的词语与后续输出有关，也未必意味着它代表了模型的思考内容。本文解读的可解释性工作（Short Horizons and Sparse Concepts: a Mathematical View of the Readout in the J-lens）正是围绕这些问题展开：从数学上解释 J-lens 的平均映射，再通过雅可比能量分析，将其读出倾向归纳为短程预测与稀疏概念，并据此改进中间概念的读出效果。
▎J-lens：从局部敏感性到全局线性读出
J-lens 建立在一个核心思路之上：中间激活的含义，可以通过它对当前及后续输出的影响来理解。如果对某个隐藏状态施加微小扰动，最终隐藏状态会随之发生变化，而这种一阶变化关系可以用雅可比矩阵（Jacobian）描述。
与直接把中间状态送入输出映射的 logit lens 不同，J-lens 先利用下游计算的平均一阶影响，将中间表征映射到输出空间，再得到词表上的读出结果。它关注的是一个激活在不同上下文中所关联的表达倾向。
J-lens 如何构建与读出？
对于第 ℓ 层，J-lens 首先对不同提示、不同源位置 t 和当前及后续目标位置 t′ ≥ t 的雅可比矩阵求平均：
随后，对待解释的中间激活应用这一映射，再经归一化、词表投影与 softmax，得到读出分布：
其中，h_{ℓ,t} 是第 ℓ 层、位置 t 的隐藏状态，h_{final,t′} 是目标位置的最终层状态，W_U 是映射到词表的输出矩阵，norm 表示归一化操作。构建时平均的是雅可比矩阵；读出时，则用得到的固定矩阵映射具体激活。
平均雅可比为什么具有读出意义？
研究从三个层面建立局部导数与全局读出之间的联系：
局部线性化： 对足够小的扰动，雅可比矩阵给出下游映射的一阶近似，描述中间激活变化如何传递到后续读出；
全局最小二乘： 在整个数据分布上寻找一个固定的仿射映射，使其与目标读出之间的均方误差最小，得到全局最优读出的斜率 W*；
Stein 桥接： 当输入隐藏状态服从高斯分布，并满足相应正则条件时，平均雅可比矩阵恰好等于这个最优斜率。
这一关系可以简写为：
E[J_f(h)] = Cov(f(h), h) · Cov(h)⁻¹ = W*
其中，f(h) 表示论文所研究的平均后续最终层响应。上述关系为 J-lens 提供了数学解释：在相应条件下，局部一阶影响的平均能够对应全局最优仿射读出的斜率，而完整的仿射映射还包含偏置项。
为什么早期层更容易失效？
真实模型未必满足上述理想条件。论文进一步区分了两类误差：非线性误差来自仿射映射无法完整表示下游计算的曲率；非高斯偏差来自隐藏状态分布偏离高斯分布，使平均雅可比与最优读出斜率之间出现差距。
（图 1：Qwen3-8B 的逐层偏差分析。左图为非线性误差，右图为非高斯偏差相关量）
（图 1：Qwen3-8B 的逐层偏差分析。左图为非线性误差，右图为非高斯偏差相关量）
图 1 显示，早期层的偏差更为明显。这为 J-lens 在早期层读出不稳定的现象提供了一种解释：中间状态距离最终输出越远，一阶近似所面临的误差可能越大。因此，读出失败不能直接等同于相关信息不存在。
▎能量结构：短程预测与稀疏概念从何而来？
平均映射能够解释 J-lens 的数学含义，但它也压缩了不同位置之间的差异。论文作者进一步追问：哪些源位置与目标位置，真正承担了主要的一阶影响？
为此，研究引入雅可比能量，用位置之间雅可比矩阵的范数平方衡量传递强度：
E_ℓ(t, t′) = ‖∂h_final,t′ / ∂h_ℓ,t‖²
（图 2：雅可比能量随层深的变化及集中程度。右图展示能量最高的前 x% 位置对所承载的累计能量占比，曲线越靠近左上角，说明能量越集中）
分析发现，能量总体随层深增加而下降，同时高度集中于少数位置对。这意味着，J-lens 虽然对大量位置求平均，其读出仍受到少数高影响位置的突出作用。
两种主要的位置结构
通过对高能量位置对进行可视化，研究观察到两种模式：
短程预测（Short Horizons）： 能量集中在对角线及邻近位置，中间状态主要影响相同或附近位置的最终读出。考虑到当前位置负责预测下一 token，这类结构与近期输出紧密相关；
稀疏概念（Sparse Concepts）： 能量在特定源位置或目标位置形成横向、纵向条带，表现为某个位置向多个后续位置传播影响，或某个位置汇聚多个来源的影响。当这些关键位置与可解释的 token 稳定关联时，作者将其归为稀疏概念位置。
（图 3：高能量位置对的三个三维热力图观察视角。每层展示能量最高的约10%个位置对，呈现出对角线结构与特定位置上的条带结构）
这两种模式进一步细化了未来读出的含义：J-lens 所呈现的内容，既包含短程 token 预测，也包含与少数关键位置相关的概念信号。
（图 2：雅可比能量随层深的变化及集中程度。右图展示能量最高的前 x% 位置对所承载的累计能量占比，曲线越靠近左上角，说明能量越集中）
分析发现，能量总体随层深增加而下降，同时高度集中于少数位置对。这意味着，J-lens 虽然对大量位置求平均，其读出仍受到少数高影响位置的突出作用。
两种主要的位置结构
通过对高能量位置对进行可视化，研究观察到两种模式：
短程预测（Short Horizons）： 能量集中在对角线及邻近位置，中间状态主要影响相同或附近位置的最终读出。考虑到当前位置负责预测下一 token，这类结构与近期输出紧密相关；
稀疏概念（Sparse Concepts）： 能量在特定源位置或目标位置形成横向、纵向条带，表现为某个位置向多个后续位置传播影响，或某个位置汇聚多个来源的影响。当这些关键位置与可解释的 token 稳定关联时，作者将其归为稀疏概念位置。
（图 3：高能量位置对的三个三维热力图观察视角。每层展示能量最高的约10%个位置对，呈现出对角线结构与特定位置上的条带结构）
（图 3：高能量位置对的三个三维热力图观察视角。每层展示能量最高的约10%个位置对，呈现出对角线结构与特定位置上的条带结构）
这两种模式进一步细化了未来读出的含义：J-lens 所呈现的内容，既包含短程 token 预测，也包含与少数关键位置相关的概念信号。
▎实验结果：简单的改进，有效的提升
能量筛选：把结果分析转化为读出
既然主要能量集中在少数位置对上，那么构建 J-lens 时，是否可以减少低能量位置的干扰？作者针对这一问题提出了简单但是有效的高能量位置筛选策略，在构建平均映射时仅保留能量排名靠前的一部分雅可比矩阵。
具体而言，先计算各位置对的雅可比能量，再按能量排序，保留前 j 比例的位置对，最后对所保留的矩阵求平均。论文比较了 50%、20%、10% 和 1% 等保留比例。
实验结果：适度筛选改善概念读出，两种读出指标提升明显
实验在 Qwen3-1.7B、Qwen3-4B、Qwen3-8B、Llama3.1-8B-Instruct、Gemma3-4B-it、Gemma3-1B-it 上展开，使用 WikiText 构建 J-lens，各方法使用相同的 200 条样本，并在联想、多跳推理、多语言、运算顺序、诗歌和拼写错误六类任务上评估。
研究采用两个指标：SHL（Short-horizon Layers）统计输出端连续正确预测下一 token 的层数；ICR（Intermediate-concept Recall Rate）统计每个位置-层上的前 10 个候选中命中标注中间概念数量。
（表 1：多项任务的主要实验结果。粗体表示最优结果。Vanilla 指原始 J-lens。所有 J-lens 均采用相同配置，在同一组 200 条样本上进行训练）
（表 1：多项任务的主要实验结果。粗体表示最优结果。Vanilla 指原始 J-lens。所有 J-lens 均采用相同配置，在同一组 200 条样本上进行训练）
适度筛选带来更好的概念读出： 保留前 20% 到 50% 的位置对，平均 ICR 在不同模型上均高于原始方法。
筛选并非越强越好： Qwen3-8B上，仅保留前 1% 时，平均 ICR 降至 16.45，说明过度筛选可能丢失有效信息。
这些结果验证了能量筛选对读出工具的改进价值。这里的收益体现为内部表征的读出指标提升，并不等同于模型自身推理准确率的提高。
▎结语
理解大模型的内部计算，需要既能读出有意义的概念，也能说明这些概念为什么会被读出、在什么条件下值得信赖。
这项研究为 J-lens 补充了这样的解释：以局部线性化和 Stein 桥接说明平均映射的数学意义，以能量结构揭示短程预测与稀疏概念的来源，再通过位置筛选改善实际读出效果。与此同时，非线性与非高斯偏差、两类能力之间的耦合，也划出了当前方法的边界。实验围绕多个模型展开，改进方法一致的提升也验证了论文提出的数学理论的可靠性。
▎结语
理解大模型的内部计算，需要既能读出有意义的概念，也能说明这些概念为什么会被读出、在什么条件下值得信赖。
这项研究为 J-lens 补充了这样的解释：以局部线性化和 Stein 桥接说明平均映射的数学意义，以能量结构揭示短程预测与稀疏概念的来源，再通过位置筛选改善实际读出效果。与此同时，非线性与非高斯偏差、两类能力之间的耦合，也划出了当前方法的边界。实验围绕多个模型展开，改进方法一致的提升也验证了论文提出的数学理论的可靠性。
相关文献参考：
[1] Shi-Qi Yan, Kai-Xuan Ding, Chao-Hong Tan, Qian Chen, Wen Wang, Xiangang Li, and Zhen-Hua Ling. 2026. Short Horizons and Sparse Concepts: a Mathematical View of the Readout in the J-lens. arXiv:2608.25347v1.
[2] Wes Gurnee et al. 2026. Verbalizable Representations Form a Global Workspace in Language Models. arXiv:2607.15495.
[3] Charles M. Stein. 1981. Estimation of the Mean of a Multivariate Normal Distribution. The Annals of Statistics, 9(6): 1135–1151.
