推荐单位及作者
北京华能新锐控制技术有限公司
李洪灯、陈岩磊、曹利蒲、刘振杰、曾凡春
绪论
新能源产业发展相对较晚，各区域管理模式不尽统一，管理水平参差不齐，新能源的专业化管理有很大潜力。在各集团层面，尚没有建立覆盖集团、区域、场站、机组以及分品牌、机型等多维度、多参数的生产指标体系和对标管理机制。需要通过专业化管理提升新能源产业的精细化管理水平及管理能力，促进现场自觉提升生产管理和技术水平，降低设备故障率和生产运维成本。
新能源智慧运维是指利用先进的信息技术和数据分析方法，对新能源发电设备进行实时监测、故障诊断、预测维护和运营优化，以提高发电设备的可靠性、效率和经济性。为了推进新能源产业的发展政府出台了一系列支持新能源发展和智慧运维的政策和文件，鼓励企业采用智慧运维技术提升新能源发电设备的管理水平。
建设规划
数据平台是整个新能源智慧运维系统所有应用和服务的基石，是数据存储和调用来源。公共数据服务是所有数据的服务接口，需要完成scada实时数据、scada历史数据、基础数据、指标数据、统计分析数据等数据接口服务。在公共数据服务和大数据基础平台之间完成数据仓库的搭建和主数据管理。低代码数据应用构建和低代码算法开发平台能大量减少程序编码工作、缩短开发周期。数据治理、数值质量评估，可有效提升数据准确度为平台提供更为可靠的数据，提升监视、监盘、分析、报警、预警准确性。如图1所示。
数据平台是为生产过程进行实时综合优化服务信息系统提供数据基础。将分散的控制系统、SCADA监控系统和CMS监控系统等有机地集成起来，为内外部用户提供实时和历史数据的服务。
随着集约化管理的不断深入，对标维度、诊断广度、预警精度的需求不断增加，新能源智慧运维系统建设，将以充分发挥新能源领域专家知识为重点，通过图形化组态降低专家的开发门槛，实现新能源智慧运维系统建设的不断深入和完善。
系统总体设计思路及关键技术
3.1 系统整体架构及描述
新能源智慧运维系统软件架构需采用分层设计理念，由下至上分为数据源、数据接入总线、数据存储、基础服务、技术组件、应用功能、数据展示，以及符合标准规范体系和信息安全体系，如图2所示。
3.1.1 数据源
平台接入实时数据，CMS文件数据。实时数据来源于区域集控系统三区实时数据库、直采场站、区域汇聚站、分布式光伏电站、储能电站。文件数据来源于风机设备产生的振动数据。
3.1.2 数据接入
在区域节点机部署实时数据库采集数据，通过实时数据库镜像功能将数据同步到智慧运维中心。文件数据通过节点机采用文件流的方式发送到智慧运维中心。
3.1.3 数据存储
数据平台根据不同的数据类型将数据存储到不同的数据库中。最为原始的scada实时数据和历史数据通过实时数据库进行存储，时序数据经过标准化以后将数据存储到大数据平台。基础和填报数据使用关系库存储，指标数据过程数据和统计结果数据存储在分析库中。
3.1.4 基础服务
使用IAAS、PAAS以及微服务相关技术支撑整个基础平台建设。
3.1.5 技术支撑
为保证系统的交互性一致和功能的完整全面，系统需采用相关的技术组件，其中需要低代码应用构建、低代码算法平台、数据仓库、任务调度、数据湖等相关组件。
3.2 任务调度
大数据平台中大量的业务统计分析是基于大数据的分布式处理框架，在该框架上需要提供一套针对各流程和任务的管理、调度服务及系统运行环境的监控告警功能，以保障平台的长期稳定运行。
3.3 主数据
主数据（Master Data）可以在企业内跨越各个业务部门被重复使用，处于相对高价值，高共享，相对稳定的状态。平台梳理主数据的范围，建立了主数据管理系统，解决了平台各个系统之间数据不统一、不一致、不准确、不完整、不共享的问题。
3.4 基础平台建设
基础平台作为数据平台的基础实施，来承载上层的各类数据业务及数据应用。选择Hadoop平台作为基础底座，极大的方便了后续开发和扩展。整个hadoop 基础平台的系统拓扑图如图3所示。
3.4.1 Kafka 集群
Kafka是一种高吞吐量的分布式发布订阅消息系统，可以满足系统与大数据平台的高并发量数据交换。通过Kafka集群，可以让数据接入层和其他层解耦，方便后续各种模块调用接入的数据，包括但不限于：Flink、Spark、Sqoop 等数据处理模块。
Kafka是消息队列性质的集群，集群主要消耗资源是网卡和CPU，资源所需下限需要满足网卡流量，一般需要16-24 core以上的CPU，配置万兆网卡，配置2T固态盘。
3.4.2 Hadoop 集群
Hadoop分布式文件系统(HDFS)是一个高度容错性的系统，能提供高吞吐量的数据访问，非常适合大规模数据集上的应用。Hadoop有HDFS和YARN 两大子系统，分别提供分布式文件系统和分布式计算资源的调度。
3.4.3 TSDB 集群
时序数据库（TSDB）使用基于Hadoop 底座的openTSDB，一方面考虑到其和Hadoop 数据平台的适应性，另一方面主要是其超强的服务稳定性和经过长久业界考验的历史，架构如图4所示。
3.4.4 流式计算框架
实时流数据处理基于流计算框架为平台提供一个分布式的、容错的实时计算系统，用于对接收的数据进行实时计算。实时流数据处理提供简化编程模型支持、容错、水平扩展、可靠消息处理等功能。平台选择使用Flink作为实时流数据计算框架。
数据采集系统
数据采集系统是数据平台的入口，负责接收所有场站的时序数据和震动数据。通过实时数据库的汇聚功能，将区域的实时数据汇聚到数据中心。考虑到后续随着装机量的大量增长，平台引入了Kafka作为数据采集的核心基础设施，如图5所示。
4.1 总体设计
系统数据流向总体如图6所示：
4.2 实时数据入kafka
实时数据通过采集服务接入Kafka。主要包含以下步骤：
n 选择合适的topic粒度，方便不同域数据的隔离，以及后续清洗计算程序的读取。
n 选择合适的分区key，设置合理的分区策略。
n 设置合理的数据保留时间，避免占用过多磁盘，也不要设置过低，避免需要处理大窗口实时数据时无法获取完整数据集。
4.3 历史数据接入Kafka
整个系统是针对实时数据进行的设计，接入系统的都是上线以后的数据。针对历史数据还需要进行进一步的处理。对于历史数据处理主要解决以下问题：
n 针对海量历史数据如何自动全量导入kafka并经过所有数据流水线的处理。
n 避免历史数据处理的同时影响实时数据的处理。
n 保证历史数据完整无遗漏的导入，平台设计了针对历史数据处理的数据流水线，通过离线处理的方式，按期按批进行调度，并校验最后的数据处理结果，保证历史数据有效的得到处理。
4.4 实时数据处理
实时数据通过规则中心库实时进行相关的处理计算，并将结果实时写入到openTSDB库，供后续的流程来使用。
数据存储系统
为满足大数据的存储要求，文件存储采用HDFS文件系统，Hadoop分布式文件系统(HDFS)是一个高度容错性的系统，适合部署在廉价的机器上。HDFS能提供高吞吐量的数据访问，非常适合大规模数据集上的应用。
根据平台数据资源设计的需要，数据存储分别采用时序数据库，分布式K-V数据库，以及OLTP 分布式列式存储数据库。
5.1 分层分级数据存储
当前数据平台主要存储的是两类数据，如图7所示：
n Scada系统产生的实时测点数据。这类数据主要是时序类数据，需要按TSDB数据库类型进行存储。
n CMS数据，主要是以小文件方式存储，需要根据一些信息进行多维检索。所以主体文件本身存储在OSS(对象存储)中，元数据存储在ClickHouse中方便进行多维检索。
通过分层次的存储模型，能够最大限度的降低存储成本，并以较低的成本对外提供海量数据服务。
5.2 海量数据存储设计
数据量预估方法，设计方案如图8所示，假设入库数量点数是1200万点，入库频率是每五秒一条，每个点占用7个字节的空间。
5.3 实时数据入TSDB
实时数据通过采集服务，和清洗流程之后，需要写入TSDB进行存储。实时数据入TSDB是整个数据平台关键的部分，关系到整个平台的稳定性。
数据服务系统
数据服务子系统是整个数据平台对外开放的接口。数据服务子系统通过增加统一网关来将各类数据服务统一起来，提供鉴权授权、流量控制、协议转换，访问记录，API聚合等功能，如图9所示。
平台统一查询数据服务进程接收请求，转换，映射为实例请求对象模型，通过http请求openTSDB数据库，查询实时数据结果成功后，返回数据集客户端，否则返回空对象。
SCADA 实时数据通过数据网关对TSDB的数据读取接口进行了封装，提供低延迟查询能力，保障高可用，调用流程如图10所示。
6.2 SCADA历史数据接口服务
SCADA历史数据访问时间窗口如果不超过7天，那么可以通过直接访问TSDB来获取数据，提供低延迟查询能力，保障高可用。如图11所示。
结论
本文立足于新能源行业智慧运维生产管理的实际需求，研究了标准采集接口、数据安全传输、海量数据存储、数据标准编码、数据清洗等方法和技术，并在工程应用中得到了很好的验证，为新能源生产监控、诊断预警、全生命周期管理、应急指挥、绩效评估、开放共享等方面提供了全方面的支撑。
参考文献
[1] 华能新能源智慧运维系统正式投运[J]. 电气应用, 2021, 40(9): 2.
[2] 王阔，刘辉. 面向新能源多业务场景的大数据平台构建关键技术与应用[J]. 全球能源互联网. 2022年02期
[3] 武振宇，牛瑛霞 李道通，等. 大规模对象存储资源池设计方法探讨[M]. 电信工程技术与标准化. 2021年09期
[4] 邢少波, 张龙信, 等. 基于Hadoop的鼓风机工业数据处理和存储系统[J]. 湖南工业大学学报. 2019年06期
[5] 李庆宇, 王松波, 林伟伟. 面向时序大数据的数据库性能研究[J]. 广州大学学报(自然科学版). 2021年03期
[6] 郭亮亮, 靳燕, 杨博，等. 一种基于两级缓存的高效时序数据库系统[J]. 测试技术学报. 2022年02期
[7] 单若琦. 一种基于openTSDB的海量实时数据存储系统[J]. 华南理工大学. 2016年
文章来源：
2025（第二届）
电力企业信创国产化技术研讨会
全电技术协作服务中心
全电技术协作服务中心是为社会团体、能源电力企业、科研机构、高等院校等单位提供技术交流与合作的服务平台，致力于推动能源电力技术(电网技术、发电技术、清洁能源技术)进步以及数智技术赋能传统的电力工业。
投稿网址：https://www.aetc.org.cn/mms
点击左侧“项目申报”开启投稿！
当前论文&成果征集方向有：
燃料管理智能化技术电力企业油质监督技术电力企业数智技术创新暨网络与信息安全
扫描二维码丨关注我们
全电技术协作服务中心
往期推荐