从药物分子到晶体材料，许多科学问题都可以表示为由原子及其空间关系构成的三维图。模型不仅需要识别哪些原子彼此相邻，还要理解键角、局部取向和不同方向上的协同作用。更重要的是，当研究者旋转整个分子或材料结构时，能量预测应保持不变，而力等矢量预测应随旋转同步变化。
现有等变图神经网络通常借助球谐函数、张量积或球谐空间域逐方向操作（S2Activation）处理这类对称性约束。这些设计具有坚实的数学基础，但也存在两方面瓶颈：张量积和S2Activation表达能力收到阶数的限制。另一方面，完整张量积在通道数和表示阶数增大时可能带来较高计算开销。
针对上述问题，上海科学智能研究院（简称上智院）携手格物智研、上海创智学院、复旦大学、上海市青浦复旦未来技术研究院（简称复旦未来技术研究院）等单位，联合提出等变球面Transformer架构（简称EST），重点探索如何在保持旋转一致性的同时，增强模型对不同空间方向信息的表达能力。
作为燧人物质科学系列模型基座层的组成部分，EST将球面不同方向的空间信息引入Transformer注意力机制，使不同方向的特征能够充分交互，从而更有效地捕捉复杂空间关联，在提升分子与材料建模能力的同时，降低高阶计算开销，为药物分子、催化材料等复杂体系的智能建模提供了新的技术路径。
论文地址：https://arxiv.org/abs/2505.23086
代码链接：https://github.com/ajy112/EST
该研究成果已被NeurIPS 2026接受。上智院物质科学方向研究员、格物智研算法高级专家安俊逸，上智院实习生、上海创智学院及厦门大学博士生逯新宇，为共同第一作者；上智院AI科学家、复旦大学研究员屈超，上智院物质科学智能方向首席科学家、格物智研创始人、复旦未来技术研究院首席科学家曹风雷，复旦大学特聘教授、上智院院长及首席科学家漆远，为共同通讯作者。
方法创新：把球面方向变成Transformer序列
EST的基本思路是将传统球谐表示映射到球面空间，在球面上选取若干方向采样点，并把每个方向上的特征视为一个序列元素。随后，模型加入相对方向编码，通过Transformer的注意力机制，使不同方向能够直接交换信息。处理后的方向特征再映射回球谐表示，从而接入现有等变图神经网络。
这一设计的关键价值在于：传统逐方向操作主要在同一方向内部更新特征，而EST允许模型在整个球面范围内建立依赖关系。例如，位于原子局部环境两侧的方向模式可以被同时比较，从而形成更完整的空间表征。EST因此更像一个可插拔的“跨方向信息处理器”，而非一套必须从头训练的独立模型。
图1 EST的核心思路：(a)等变神经网络Embedding表示方法，球谐空间的表示可以用傅立叶变换投影到空间域中，通过球面函数和它的采样向量表示。(b)传统等变模型依赖Tensor product操作，提取两个球谐空间表示的相互作用。(c)传统空间域操作只计算独立方向上信号的相互作用。(d)EST将球面方向离散为序列，并在不同方向之间进行全局信息交互。
旋转一致性：理论算子与有限实现需要区分
研究团队特别区分了连续理论算子与实际离散实现：在满足旋转封闭条件的连续定义域上，EST的理论算子具有严格等变性；在计算机中的有限球面采样下，模型则是近似等变的。换言之，实际旋转误差取决于采样方式、采样分辨率以及表示的最高阶数，而不能简单表述为“任何离散设置下都严格等变”。
为降低离散误差，团队采用Fibonacci lattice构造更均匀的球面采样，并可进一步通过排斥优化改善采样点覆盖。相关均匀性指标显示，优化后的Fibonacci采样在最近邻距离、球面Voronoi面积和球冠误差等指标上均表现更稳定。
图2 常规球面采样与Fibonacci球面采样示意。更均匀的方向覆盖有助于减小有限离散造成的旋转误差。来源：论文采样可视化。
球面Transformer的逼近能力
在构造球面Transformer时，研究团队发现，位置编码格外重要，当位置编码缺失时，球面上的点被打乱后模型无法有效区分，导致表达能力的重大下降。但如果采用传统的绝对位置编码，在数学上不能保证等变性。研究团队参考旋转位置编码，在计算Attention时，加入相对位置信息，即内积信号，内积可以有效反映两个方向的位置关联，又能在旋转时保证等变性，进一步提升了EST的表达能力。
图3 在EST中，位置编码的作用。(左二)对于不同的两个球面函数，不加位置编码的EST无法区分特征；(右二) 对于不同的两个球面函数，加位置编码的EST可以区分特征；(右一) 对于相同的两个球面函数(一个经过随机旋转)，加位置编码的EST保证特征相同；
实验结果：在复杂任务中提升更明显
研究在OC20催化材料数据集、MPtrj材料轨迹数据集和QM9分子性质数据集上进行了验证。总体结果表明，EST在仍有建模空间的复杂任务上收益更明显；当基础网络已经较深或性能趋于饱和时，增益会相应减弱。这一现象也说明，EST的价值主要来自补充跨方向表达能力，而不是无条件替代更深的基础模型。
表 1 论文中具有代表性的定量结果。不同指标与单位不可横向比较，仅用于展示各自实验中的变化。
在算子延迟测试中，完整连接张量积的开销会随最大表示阶数和通道数快速增加，而EST的延迟曲线相对稳定。在通道数C=512、最大阶数L=6的测试设置下，EST 相比传统完整连接张量积实现获得约132倍的前向加速。这意味着EST尤其适合需要较高阶空间表示、但又受计算吞吐限制的模型设计。
图 3 不同最大表示阶数下的算子延迟对比。EST的延迟随阶数变化较小。
面向动力学与结构分析的物理有效性测试
除静态预测指标外，研究还补充了分子动力学、结构弛豫和振动分析测试。在采用能量梯度计算保守力的MD17设置中，八个体系的平均绝对NVE能量漂移由0.036降至0.022 meV/ps/atom；在MPtrj与MD17的结构弛豫测试中，所有样本均成功收敛；MPtrj振动测试未引入虚频或错误振动模态数。
需要谨慎理解的是，MPtrj实验采用独立的直接力预测头，该设置本身并不保证保守性。加入EST后，Jacobian非对称指标由0.258增至0.464，说明EST并不能修复非保守力头，甚至可能放大这一问题。因此，论文最有力的动力学证据来自使用能量梯度构造保守力的MD17实验。
结语
EST提供了一条不同于传统张量积路线的设计思路：先将可转向表示映射到球面空间，再借助成熟的Transformer机制处理跨方向关系。该方法能够接入SCN、Equiformer和EquiformerV2等模型，为等变学习引入更灵活的全局方向交互，同时保持较好的高阶计算扩展性。
研究主要存在三项局限：第一，有限采样只能实现近似等变，采样策略和分辨率需要根据任务选择；第二，注意力带来 O(S²) 的显存开销；第三，在更深或已趋于饱和的基础模型上，性能提升会减弱。此外，直接力预测头的非保守性仍需通过物理约束、能量梯度或专门的保守建模方法解决。
总体而言，这项工作展示了Transformer与三维对称性建模结合的另一种可能：不再局限于逐方向更新，而是在受控的旋转误差和计算预算下，让模型学习整个球面上的结构关联。对于催化材料、分子性质预测和原子级动力学等研究，这种跨方向建模能力有望成为提升复杂体系表示能力的重要工具。此外，对于分子外的复杂3D系统，EST也具有表征的潜能，提供三维对称约束和表达能力平衡的建模能力。