最值得期待的遥感数据产品——分析就绪数据- 大数跨境

GIS前沿

2023-02-19

导读：1分析就绪数据（Analysis Ready Data，ARD）是以用户为中心的遥感数据产品，从名字理解，它

分析就绪数据（Analysis Ready Data，ARD）是以用户为中心的遥感数据产品，从名字理解，它是已经准备好可以直接用于分析(信息提取)的遥感数据。作为从业超过15年的业内人士，本人带感情地说——分析就绪数据是遥感信息提取专家的福音！是AI和定量时序分析的最佳搭档！是面向大众的实时遥感应用服务的燃料！是民商遥感卫星数据提供商的核心竞争力！是遥感产业化的基础！

大家还可以继续夸赞分析就绪数据……下面详细解释一下为什么分析就绪数据是最值得期待的遥感数据产品。

什么是分析就绪数据？

到底什么是分析就绪数据，不同人理解的内涵各异，之前大家并未完全达成共识，但是现在基本都认可国际对地观测领域权威的非政府组织国际卫星对地观测委员会（Committee on Earth Observation Satellites, CEOS）给出的CEOS版本分析就绪数据定义——

CEOS分析就绪数据是已按照最低要求进行处理，并组织成能够立即进行分析的形式的卫星数据，用户只需付出最少的额外努力，并通过时间和其他数据集实现互操作性（CEOS Analysis Ready Data are satellite data that have been processed to a minimum set of requirements and organized into a form that allows immediate analysis with a minimum of additional user effort and interoperability both through time and with other datasets.）

CEOS的分析就绪数据定义比较精炼和高度概括，很多人看了之后觉得理解了分析就绪数据，但是又有很多疑惑。我就CEOS的分析就绪数据定义做一下简要展开，自问自答：

（1）什么是最低要求的处理？——辐射和几何处理是最基本的处理；最低要求的量化有不同的界定；

（2）如何组织成立即分析形式？——数据按标准分块，每个像素有元数据和质量辅助数据(例如云掩膜)；

（3）时间和其他数据的互操作性指什么？——时间互操作是指可以长时序对比分析和融合分析，其他数据互操作是指不同传感器数据可以联合起来同等使用。

图1 分析就绪数据瓦片(tile，标准分块)示例▼

图2 欧空局哨兵二号卫星数据云掩膜示例▼

图3 谷歌地球上的时间序列遥感图像(卡塔尔多哈城市扩展1984-2020年，每年一帧)▼

图4 基于Landsat分析就绪数据和混合像元分解的希腊克里特岛物候趋势和变化分析图▼

为了进一步深入理解什么是分析就绪数据，有更全面和直观的感受，我想请大家接着往下看，一起去了解分析就绪数据产生的背景和当前已有的分析就绪数据。

分析就绪数据产生的背景和价值

提出分析就绪数据的原因很多，非常关键的一点是——从遥感卫星数据中提取有意义的信息时，数据处理太耗时、成本高，通常需要经验丰富的专业人士才能应对。对此，我深有体会！信息提取中有个80/20准则，大家80%的时间用于准备数据，20%的时间用于分析数据。不同的项目都需要重新准备数据，效率低下，导致遥感信息获取的成本高、时效低，本末倒置。分析就绪数据的出现，可以让遥感数据分析人员将大部分精力用于分析数据，而不是对数据进行预处理。当前为什么大家都在很愉快地高频使用欧空局的哨兵数据和美国的陆地卫星数据，一个很重要的原因就是这些数据是分析就绪数据或者接近于是分析就绪数据。

数据准备工作有多么繁杂和消耗精力！——以本人实际操作过的“国产遥感卫星16米的多光谱标准产品数据按月自动生产全国的水体范围”来说，数据准备需要做如下准备：

（1）搜索并下载全国范围内的符合时间要求的数据；涉及2颗星2个不同传感器；由于缺少云掩膜辅助数据，为保证数据有效覆盖，需要人工挑数据；

（2）正射校正处理，采用参考影像(控制点)和数字高程模型数据对标准产品影像进行几何校正并质检。标准产品数据有数十米到百米的偏差，正射校正可以保证最终结果的几何精度和不同时相数据在重叠区域的对齐；

（3）辐射校正，用定标系数把图像DN值转为辐亮度，将辐亮度转为大气顶层反射率，未进行大气校正消除大气对图像的影响，在水体提取算法中通过自适应阈值消除大气对水体提取的影响；

（4）无效数据掩膜：生成逐像素的云掩膜和异常值掩膜；无效数据无法提取信息，需要排除；

（5）数据分块：按设定的1度*1度的标准网格，对数据进行分块，方便后续并行计算提取水体。

以上处理非常耗时耗力，而且不同的用户都要做类似的重复处理工作，如果交由数据提供商去做，他们有能力能做得更好，而且避免同样的步骤大家重复处理。

图5 同一卫星拍摄的相邻区域中地表反射率图像（上半部分，已消除大气影响）和大气顶层反射率图像（下半部分，未消除大气影响）的真彩色比较。▼

从遥感数据的用户(使用者)和遥感卫星数据的提供商(生产者)两个角度谈，分析就绪数据价值不容小觑。

对于用户的价值

（1）降低了遥感数据的使用门槛。用户不需要具备遥感数据几何和辐射等处理的专业知识；

（2）降低了使用成本和时间。用户不需要针对不同的项目耗费大量时间、精力重复去整理和处理数据；

（3）方便用户进行空间大尺度和长时序的遥感数据分析；

（4）实现全自动信息提取应用程序开发和服务。借助分析就绪数据，用户可以建立实用的变化检测、时序分析等应用程序，生产可靠、可重复和相关的产品及服务。

对于数据提供商的价值

（1）扩大数据的使用率、影响力和吸引更多的新兴用户——因为分析就绪数据是以用户为中心的易使用的数据；

（2）带来更多的商业收入和价值。提供商大量的历史存档数据可以被使用并产生价值；在技术、成本等方面提供商比用户更适合生产分析就绪数据；

（3）数据资产整体可复用率大大提升。分析就绪数据可以被整合进端到端的遥感应用解决方案，源源不断为多种多样的应用服务提供燃料，同样的数据可被重复使用多次。

民用和商业遥感卫星的分析就绪数据

分析就绪数据受到了民用和商业遥感卫星数据服务商的广泛关注，民用遥感卫星的分析就绪数据比较知名的是美国地质调查局(USGS)推出的陆地卫星集合2(Landsat Collection 2)地表反射率和地表温度，欧空局推出的哨兵2A/B地表反射率(Sentinel-2 Surface Reflectance)。商业遥感卫星公司Maxar和Planet比较积极和领先，不但发起了分析就绪数据的年度讨论会，而且也推出了自己独有卫星的分析就绪数据产品。

分析就绪数据是卫星数据产品，它需要明确地分级界定和产品规范，根据不同用户的应用需求，对分析就绪数据的处理级别也有不同的要求。此外，如果要满足不同分析就绪数据集之间的互操作，就需要较为一致的规范和处理级别。CEOS牵头制定了分析就绪数据产品系列规范（Product Family Specifications，PFS），它是一个灵活和可扩展的框架，用于详细说明数据集必须满足的特定要求。每个PFS具有以下核心要素：（1）通用元数据；（2）每个像素元数据；（3）辐射校正和精度要求；（4）几何校正和精度要求。

CEOS已制定完成地表反射率、地表温度等7个分析就绪数据产品规范，正在制定地理编码单视复数、干涉雷达等产品规范。这些规范涉及的传感器包括可见光、红外、夜光、雷达、激光等。

CEOS ARD产品是经过评估以确定其符合CEOS ARD要求(PFS)的产品，评估过程包括：数据提供者的自我评估和CEOS专家的同行评审。欧空局和美国地质调查局都在积极使自己的哨兵和陆地卫星的分析就绪数据满足CEOS ARD产品规范，他们提供的多个分析就绪数据产品已通过审查，满足CEOS ARD产品最基本的“阈值”规格。越来越多的分析就绪数据在参照CEOS ARD的规范要求开发，中国的高分一号地表反射率产品也在CEOS的“开发/评估中“的列表内。

图6 美国陆地卫星水体反射率分析就绪产品(左图真彩色图像，右图波段2水体反射率)▼