流数据是由多个数据源不断注入而成的动态数据集合，具有持续、大量、实时等特点，已成熟应用于交通、应急等领域。基于Spark Streaming流处理技术框架，SuperMap流数据服务提供流数据的接入、分析、输出与可视化。流数据的分析包括流数据属性过滤、流数据空间关系过滤、流数据属性映射以及流数据地理围栏应用等。小编从实际操作向大家介绍云原生GIS中流数据的处理流程。
云原生GIS流数据处理流程
为了更便捷地使用流数据服务，云原生GIS将SuperMap流数据服务微服务化，拆分为流处理模型与流数据服务两部分，并内置流数据接收器Kafka与流处理技术框架Spark Streaming，支持发布多个流处理模型、管理多个流数据服务。基于Kubernetes横向扩展能力，服务节点能够动态伸缩，解决流数据接入带来的服务高负载。
操作流程主要分为三步：制作流处理模型、发布流处理模型、输出结果可视化，如下图所示。
云原生GIS流数据处理流程
小编从实操角度详细和大家说说这三步。
① 制作流处理模型
在云原生GIS服务管理页面，打开流数据处理->流处理模型，点击制作流处理模型。选择Kafka接收器用于航班数据接入，通过逻辑运算过滤器筛选出国际航班，使用地理围栏转换器圈出边界，由WebSocket发送器输出结果数据。制作完成后填入模型名称并保存，模型可在列表中查看管理。
航班流数据模型
流处理模型列表
值得一提的是，作为最热门的流数据通道与流处理应用之一，Kafka具有高吞吐量、持久化数据存储、易扩展等特点。为了方便用户，云原生GIS内置Kafka集群，支持一键开启使用，免手动搭建。
内置Kafka集群
② 发布流处理模型
发布流处理模型为流数据服务，需要配置Spark用于计算处理。云原生GIS内置Spark集群，打开计算资源池->Spark集群，点击开启按钮即可一键部署使用。内置Spark没有流数据服务发布数量限制，可同时对多个服务提供分布式计算能力。
内置Spark集群
Spark开启后，打开流数据处理->流数据服务，点击发布流数据服务。填入流数据服务名称，选择内置Spark集群与流处理模型FlightsModel，点击发布。
发布流数据服务
成功发布的流数据服务会记录在页面列表中，通过任务详情可查看Spark运行状态。
流数据服务列表
③ 输出结果可视化
SuperMap iPortal数据上图功能，能够可视化输出结果，如下图。将模拟数据接入后，国际航班实时位置显示在地图上，棕色线条表示模拟的航班运行轨迹。从地图上能够直观获取航班名称、位置等信息，在越过边界时收到报警提示，同时监控航班是否偏离航线，助力航空管制工作。
模拟航班飞行轨迹
随着业务需求变化，解决数据快速增长、实时性以及体量大等问题成为了刚需。SuperMap流数据服务针对流数据特性，从数据接入、分析、输出到可视化提供了全流程解决方案。云原生化的流数据服务能够统一管理流处理模型与流数据服务，通过界面查看模型配置，修改模型并再次发布，同时内置Kafka集群与Spark，降低操作门槛，让流数据服务流程更合理、功能更完善。
作者｜云产品研发中心 王伊湋