RSE | AnytimeFormer: 重建任意时刻的光学影像! 北师团队融合不规则和异步光学-SAR时序数据, 代码开源！

遥感与深度学习

2025-12-03

导读：AnytimeFormer: Fusing irregular and asynchronous SAR-optical time series to reconstruct reflectance

RS DL

题目：AnytimeFormer: Fusing irregular and asynchronous SAR-optical time series to reconstruct reflectance at any given time

期刊：Remote Sensing of Environment

论文：https://doi.org/10.1016/j.rse.2025.115120

数据：https://huggingface.co/datasets/tangkaii/AnytimeFormer

代码：https://github.com/tangkai-RS/AnytimeFormer

年份：2025

单位：北京师范大学，中国农业科学研究院

原作者审阅认证

背景

光学遥感影像时间序列常受云雾干扰，导致数据缺口，限制了其在下游任务中的表现。基于多模态的时间序列重建模型，通过融合不受云雾影响的 SAR 序列与部分清晰的光学序列，重建时空连续的光学影像。该类模型结合了 SAR 与光学的互补信息，并利用光学序列的时间自相关性，在重建精度上表现领先。然而，现有方法仍面临以下挑战：

深度学习模型多采用Sequence-to-Sequence结构，要求规则采样。但受持续云覆盖影响，光学观测往往时间间隔不均；不同传感器（如 Sentinel-1 与 Sentinel-2）也存在重访周期差异。常见做法如多日期合成、插值或匹配最近观测时间，虽可规整时间轴，却增加预处理复杂度并可能引入噪声，损害 SAR 数据真实性。
现有模型未明确刻画“时间戳—观测值”之间的函数关系，导致无法灵活生成任意时刻的预测结果，限制了在用户指定时间点的重建能力。
部分模型仅将不同模态特征简单拼接，未能深入交互和融合多模态特征。同时，多模态数据的引入增加了计算负担，亟需更轻量高效的多模态交互与融合机制。

创新点

针对上述挑战，本文提出了AnytimeFormer，具有以下创新点：

端到端融合不规则间隔与时间不同步的光学与SAR时间序列，无需插值匹配等预处理流程。
将多模态融合参数分解为低秩表达，兼顾了多模态特征的深度交互融合与轻量化，显著提升了模型的训练与推理效率，使模型适用于实时及局部化应用场景。
引入时间戳提示的查询机制，显式建模观测时间与观测值之间的函数关系，可以重建任意指定时刻影像。

数据

全球范围的8个研究区，涵盖了多样的农业场景（中国河北、德国和美国加州），以及大型城市/沙漠（内华达）、热带雨林（印度尼西亚）、草原（肯尼亚）及苔原（冰岛）场景。
Sentinel-2：L2A级地表反射率产品，保留10个与地表信息相关的光谱波段；Sentinel-1 GRD，使用VV和VH双极化数据。
验证数据通过人工为原始影像时间序列数据附加历史年份云掩膜以模拟不同比例的缺失情景，被掩膜的像元保留为独立验证集。
Planet Fusion product用于交叉验证AnytimeFormer重建逐日影像的时序趋势一致性。
[Planet Fusion product：https://learn.planet.com/rs/997-CHH-265/images/Planet%20Fusion%20Monitoring%20Datasheet_Letter_Web.pdf]

方法

Overview: AnytimeFormer接受SAR和部分缺失的光学时间序列和及其对应的观测时间戳作为输入。输出时默认重建原始观测时间戳的反射率影像（Seq-to-Seq）。也可以接受用户给定的任意时间戳（为day-of-year, DOY）来重建指定时刻的反射率影像（Anytime mode），因此支持输出逐日的时间序列影像。

Time-align attention module: 以光学时序数据的时间特征为 Query、SAR 数据的时间特征为 Key、SAR 的极化特征为 Value，通过时间特征间的相关性与区域规律，将 SAR 特征自适应地对齐到光学时间点上，输出与光学时间戳对齐后的 SAR 时序特征。
Low-rank fusion module: Tensor product (下图(b))能够有效表示多模态的交互作用，但是计算量与后续融合参数量庞大。通过将融合参数矩阵 $W$ 分解为模态特定因子 $w_{\mathrm{opt}}^{R}$ 和 $w_{\mathrm{sar}}^{R}$ 并通过并行分解的方式获得特定时间点的融合特征 $F_{\mathrm{fused}}^{t}$ 。最终通过时间权重共享方式获取融合时序特征。

Time-aware decoder: 用户给定的任意时刻时间点的特征为 Query，多模态融合时序特征为 Key和 Value。利用指定的时间特征去检索融合时序特征中最相关的信息来重建该时刻的反射率值。
训练策略: 损失函数有三部分组成，reconstruction loss负责还原输入；imputation loss负责重建训练过程中随机缺失的观测值；total variation loss仅在Anytime mode时使用，负责平滑daily时序相邻日期的观测值，避免重建值出现异常波动。

实验与分析

实验表明，AnytimeFormer在不同比例（40%、60%和80%）的缺失下，RMSE相比对比方法平均降低了38%。在80%缺失比例下，AnytimeFormer的平均RMSE为0.03，R²为0.95。
参数量仅为0.65M，训练和推理速度资源消耗低，速度快。相比精度次优的方法STORI训练时间减少10倍。完成225 平方千米区域43景影像重建仅需34秒。
重建的逐日影像与Planet Fusion产品具有很高的时间趋势一致性。