当大家都在翘首以盼DeepSeek-V4发布之际，北大团队的一篇论文引起了广泛关注。这篇题为《HISA: Hierarchical Indexed Sparse Attention》的论文，提出了HISA（分层索引稀疏注意力）这一新架构。 相比DeepSeek正在用的传统DSA（DeepSeek Sparse Attention）等Token级稀疏注意力架构提速2-4倍。
（由AMiner 「AI 阅读」一键生成论文网页辅助整理）
论文双人对讲播客
（由AMiner 「Research Labs」「播客」工具生成）
论文作者
这篇论文来自北京大学的张牧涵团队。
张牧涵，2018-2019年为Facebook scientist，现为北京大学助理教授（研究方向为图机器学习、图神经网络和知识图谱嵌入）
（图源：AMiner 「AI 2000」全球人工智能学者）
其谷歌论文总引用数达10,630，来自 ACM/IEEE/AAAI Fellow引用为1,327。连续两年入选人工智能领域 200 位最具影响力学者奖荣誉提名（AAAI/IJCAI 联合颁发）
此外来自中国科学技术大学的Yufei Xu，来自北京大学人工智能学院的孟繁续（专注于大型语言模型的高效微调和长上下文高效推理，并担任NeurIPS、ICML、ICLR等多个顶级会议和期刊的审稿人）为共同一作。
方法/架构设计
论文提出了一种名为HISA（Hierarchical Indexed Sparse Attention）的层次索引稀疏注意力机制，通过将搜索过程转化为两阶段分层过程来优化索引器。首先，在块级别进行粗略过滤，然后仅在剩余的候选块内应用原始索引器进行精细调整。
（由AMiner 「AI 阅读」一键生成论文网页辅助整理）
实验设置与结果
为验证HISA的有效性，研究团队从四个维度进行评估：(1) 内核级延迟，(2) Needle-in-a-Haystack检索准确率，(3) LongBench下游任务质量，以及(4) 与原始DSA索引器的选择一致性（IoU分析）。比较对象包括原始DSA、HISA和Block-Sparse（仅块级）。
（由AMiner 「AI 阅读」一键生成论文网页辅助整理）
在内核级基准测试中，HISA在32K上下文长度时实现了2倍的速度提升，在128K时实现了4倍的速度提升。在Needle-in-a-Haystack和LongBench任务中，将HISA直接替换DeepSeek-V3.2中的索引器，无需微调，HISA在质量上与原始DSA相当，同时显著优于块稀疏基线。
（由AMiner 「AI 阅读」一键生成论文网页辅助整理）
此外，HISA和原始DSA产生的token选择集的平均IoU超过99%，表明效率提升几乎不影响选择精度。
（由AMiner 「AI 阅读」一键生成论文网页辅助整理）
结论
研究团队最终确定了索引器是Token级稀疏注意力系统中的一个新兴瓶颈：虽然下游注意力是稀疏的，但索引器的详尽前缀扫描重新引入了二次方缩放。HISA通过将索引器的搜索路径重构为两阶段层次结构——块级粗过滤后跟Token级细化——解决了这个问题，且无需更改最终的稀疏注意力算子或需要额外训练。经验上，HISA在32K-128K上下文中实现了2-4倍的内核级加速，保持了与原始选择 >99% 的平均IoU，并在Needle-in-a-Haystack和LongBench基准测试中保持了竞争性能。
本文多处使用AMiner AI科研工具辅助整理论文要点，点击原文查看论文详情