EMNLP 2026 最佳论文｜Linear attention 的大海捞针，能否从“读”这一步改进？

点击蓝字

关注我们

EMNLP 2026 最佳论文：CCQ 重塑 Linear Attention 读取机制

这篇荣获 EMNLP 2026 最佳论文奖的研究，将优化重心从 Linear Attention 的“写入”环节转向了“读取”环节。针对传统方法在长上下文检索中的瓶颈，该工作提出了曲率条件查询（CCQ）机制，利用历史 Key 的协方差结构收缩查询向量。实验显示，1.3B CCQ-GLA 模型在 4K UUID 检索任务中准确率从 29.2% 跃升至 64.8%，在 8K 数字检索中从 31.2% 提升至 60.6%。尽管当前实现存在额外的时间与状态开销，但为提升线性注意力模型的表达力提供了新范式。

快而不准：十年改进“写”，为何仍难追 Softmax？

Softmax Attention 的计算量随序列长度平方增长，是长上下文的算力痛点。朴素线性注意力通过维护矩阵状态 S 实现线性计算复杂度，其加性更新公式仅为基线。后续 GLA、Gated DeltaNet、Mamba 等变体虽改进了门控、覆写规则或特征映射，但本质上仍聚焦于状态管理（即“如何写”）。

既有改进缺乏类似 Softmax 的概率归一化竞争机制。CCQ 的创新在于不改变写入规则，而是在读取时引入当前上下文中 Key 的二阶统计信息来调整查询向量。这并非简单恢复 Softmax 归一化，而是借鉴其局部曲率特性，与现有的写入端优化形成互补。

记忆“体检”：针藏在协方差的低方差子空间

论文首先对 Linear Attention 的记忆状态进行几何分析，探究目标信息（Needle）与干扰信息（Distractor）的分布差异。作者使用 Δμ 衡量两者在 Key 协方差 Top-16 特征子空间上的对齐度差。负值表示 Needle 更偏离主方差子空间。

在 Qwen3-4B-Instruct 与 Gated DeltaNet 500M 测试中，各层头平均 Δμ 均为负，且后者分离度约为前者两倍。逐 Token 分布直方图进一步证实，Distractor 呈连续分布，而唯一的 Needle Token 明显偏向分布左侧。

这些诊断支持了 CCQ 的几何前提：在特定检索场景下，目标 Key 平均更偏离高方差子空间。需注意，这并非普适规律，浅层分离可能部分源于词汇稀有性。

方法解析：借用 Softmax 丢失的归一化项

Softmax 权重的对数形式包含 log-partition 项，其在 q=0 处的 Hessian 恰好等于未加权 Key 协方差 Σt。CCQ 的核心公式为 q_clean = (I − λtΣt)q，即利用协方差对查询进行收缩。在高方差方向上收缩更多，低方差方向收缩较少，相当于对二次曲率惩罚做一步梯度更新。

修正项本质上是 Cov(kj⊤K, K⊤qt)，当其为正时降低候选分数，为负时反而提高分数，并非单纯惩罚“随大流”的 Key。工程落地依赖三个关键设计：

1. 可学习门控：λt = sigmoid(Wλqt + bλ)，由查询生成，每 Token 每头一个标量。消融实验显示，学习门控在 4K UUID 检索上达 46.6%，远高于固定 λ=0.1 的 20.0%。

2. 稳定性保证：Key 经 L2 归一化后，清洗算子特征值落在 [1−λ, 1] 区间，确保软收缩而不消灭任何方向。
3. 兼容写入规则：CCQ 不改变主干状态更新公式，已在 GLA 与 Gated DeltaNet 上验证有效，但需从零训练并新增统计状态维护。

实验表现：大海捞针提升 35.6%，长文外推显著

研究在 FineWeb-Edu 上预训练了 500M 和 1.3B 两个规模模型。在合成大海捞针（S-NIAH）任务中，1.3B CCQ-GLA 表现亮眼。训练上下文为 4K 时，8K 外推测试中 CCQ-Gated DeltaNet 的 Pass-key 准确率达 98.2%，Number 检索达 58.4%；而基线 Transformer 在此设置下为 0%。4K UUID 检索中，Gated DeltaNet 加 CCQ 从 6.0% 提升至 46.6%。

语言建模与下游任务整体改善，但非全面领先。1.3B CCQ-GLA 的 WikiText 困惑度降至 16.92，HellaSwag 升至 59.14%；LongBench 14 任务平均分达 15.77，优于 GLA（14.07）和 Mamba2（13.13）。长度外推方面，500M CCQ-Gated DeltaNet 在 4K–20K 范围内全面最低；1.3B 变体在 20K 处比主干低 1–2.5 个困惑度。

代价与边界：收益背后的开销与局限

CCQ 带来性能提升的同时也增加了开销。推理时需维护额外协方差状态，训练峰值显存增加。但在单张 H200 上，其吞吐开销近似恒定，不随序列长度放大。

目前验证仅限于 500M/1.3B 规模及两个主干，更大模型及真实 Agent 负载仍需探索。若有用信号位于主方差方向，未衰减协方差可能抑制该信号。此外，推理时关闭 CCQ 后，已训练模型在长上下文任务上仍保留大部分收益，说明增益部分内化于训练过程，而非仅依赖推理时修正。

总结：效率与表达力的新平衡点

Linear Attention 与 Softmax 之争常被简化为“用表达力换效率”。CCQ 展示了读取端优化的可能性：通过引入二阶统计收缩查询，在保持线性计算复杂度的同时显著提升检索与外推能力。

获得最佳论文奖认可了其价值，但尚不能断言社区正全面转向“读端”优化。更务实的视角是将其视为可与写入改进组合的具体方法。未来研究需解决统计量适配、大规模验证及训练效应解耦等开放问题，以推动线性注意力模型走向成熟。

点击 阅读原文 查看原论文