因果机制注入Attention瞬间，模型就能理解数据因果法则，高效涨点！

传统Transformer的全连接注意力机制难以刻画时序因果性与空间局部依赖，制约了交通流量、人群流动等动态规律的精准建模。面向城市智能化发展，时空预测需求日益迫切，但在交通事故预测、人流分析等任务中，传统模型难以有效融合时序因果与空间关联，面临实际应用挑战。

为此，因果注意力机制通过引入因果干预策略与时空依赖建模，聚焦关键关联、过滤噪声干扰，更贴合数据生成的真实因果逻辑，在提升预测准确性的同时增强可解释性，为时空建模提供了新思路。

本文精选11篇因果注意力方向的顶刊论文，以期为相关研究带来启发。

CausalGeD: Blending Causality and Diffusion for Spatial Gene Expression Generation

关键词: 因果关系, 扩散模型, 空间转录组学, 因果注意力, 基因表达生成

研究方法

针对单细胞RNA测序与空间转录组学数据整合时严重忽略基因间因果调控关系的问题，本文提出了名为 CausalGeD 的前沿解决方案。该模型的核心架构巧妙融合了扩散过程与自回归机制，通过特制的因果感知Transformer（CAT）模块，在无需预定义知识图谱的情况下，精准捕捉并还原高维连续数据中隐藏的生物学调控序列。

论文创新点

1. 1. 提出CausalGeD混合生成框架，实现了扩散模型与自回归因果机制的完美融合。
2. 2. 创新地设计了因果感知注意力掩码，解决了高维连续基因数据缺乏空间依赖的建模难题。
3. 3. 通过自适应分数采样方法，将传统自回归生成的时间复杂度从O(N^2)大幅降低到O(N)。
4. 4. 首次将因果推理与扩散生成结合，验证了其在10个组织数据集上最高超越基线32%的惊人性能。

论文链接: https://arxiv.org/abs/2502.07751

扫码添加小助手回复“C377”

免费获取因果注意力 2026 论文

CityCAN: Causal Attention Network for Citywide Spatio-Temporal Forecasting

关键词: 城市级预测, 时空数据挖掘, 因果干预, 注意力网络, 交通规划

研究方法

针对城市级时空预测极易受到功能区划干扰且忽略真实空间数据分布的具体问题，本文提出了名为 CityCAN 的因果注意力网络。其核心工作原理是基于因果干预框架自动剥离无用特征，并利用全局-局部注意力编码器（GLAE）联合学习真实的图谱依赖，最后利用专用的城市级损失函数确保全局预测分布的严谨一致。

论文创新点

1. 1. 构建了包含因果与无用分支的双轨网络，实现了对城市不变空间特征的精准识别。
2. 2. 创新地引入了城市级先验校准损失，解决了传统模型预测分布与真实空间状况脱节的缺陷。
3. 3. 通过超区域（Superregion）降维划分方法，将空间注意力的计算复杂度从O(N^2)降低到O((N/r)^2)。
4. 4. 首次将因果干预操作与全局局部时空注意力结合，验证了其在复杂交通网络中的绝对统治力。

论文链接: https://dl.acm.org/doi/10.1145/3616855.3635764