近年来,随着信息获取技术、物联网、物理信息系统、社交网络等技术的迅猛发展,全球的数字信息资源正进入到一个前所未有的快速增长期。
据统计,在过去两年中人类产生的数据已经达到历史产生的全部数据的90%,如果到达2020年,预计全世界多产生的数据规模将达到今天的44倍。数据的量级已经从TB上升为PB、EB乃至ZB,大数据时代已经来临,它标志着信息技术的发展由计算转向了数据。而作为全球第二大经济体的基础能源支撑体系的电力工业,也必然步入电力大数据时代。

随着智能电网建设的全面开展,物联网的应用,使得电力行业的数据量迅速增长,已经由TB级向PB级转变;数据来源更加多样化,数据结构也更加多样化。现在急需通过数据管理及数据挖掘等手段进行电力大数据研究,以实现电力生产、营销及运维等方面生产管理水平的提高,为电力企业提供强大的信息技术支撑。下面主要从对电力大数据的分析谈谈大数据对电力企业的影响。
定义
大数据的定义目前业界对大数据的定义还没有统一的标准。从字面上来理解,大数据是指那些超过传统系统的处理能力且数据量巨大的数据,数据量通常为10TB以上。
2010年Apache Hadoop组织给出的大数据定义为,“普通的计算机软件无法在可接受的时间范围内捕捉、管理、处理的规模庞大的数据集”。而维基百科给出的大数据定义为:“大数据是指无法在可承受的时间范围内用常规软件工具进行捕捉、管理和处理的数据集合。”通过对上述几种定义都提到了三个关键词:数据量、处理时间和处理工具。通过对这三个词进行分析,一定时间范围内无法对数据进行处理,除了方法工具不成熟,还可能是数据量超出了处理能力,数据的复杂度增加了处理难度,数据对处理时间的要求很苛刻。所以大数据具有三个特点,即3个V:体量大(Volume)、类型多(Variety)和速度快(Velocity)。这三个特性是公认的必须具备的,除此之外,IBM公司认为大数据还应具有可信性和可用性(Veracity),而国际数据公司(IDC)则认为数据应当具有价值性(Value)。
电力大数据可以说智能电网就是“大数据”在电力行业中的一种应用,随着电力工业与信息化的深度融合,智能电网将承载着电力流、信息流和业务流,电网和电力信息通信网的用户将发生叠加,电网的整体价值会跃升。这种价值的跃升将使电力企业具有大数据的时代特征,即电力大数据。
电力大数据的特征电力大数据在具有大数据的 3个V特征的同时,还具有Veracity、Value这两个特征。其具体表现如下:
体量大:随着电力企业信息化快速建设和智能电力系统的全面建成。
类型多:电力大数据的数据类型可以分为结构化数据、半结构化数据和非结构化数据三种。
速度快:主要指对电力数据采集、处理、分析的速度。
可信性和可用性:随着大数据的爆炸性增长,产生数据的技术手段和方式越来越多,劣质数据也随之产生。
价值密度低:数据体量大并不代表数据中所带有的信息量和数据价值高。
应用与挑战
电力大数据面临的挑战与应用前景。电力大数据的应用前景电力企业数据有实时采集的数据,还有新能源并网、物联网、云计算、电动汽车充换电等新数据业务,还有ERP、营销、一体化平台和协同办公等方面的数据。
目前,电力大数据应用主要是通过挖掘上述电力生产、使用数据之间的规律,利用大数据强大的分析与预测能力,提取出更多的高附加值服务。例如客户用电行为分析与客户细分,促进电力资源的优化配置和高效服务;预测业务走向,优化业务流程和电力调度决策支持;提高智能变电站的建设水平,优化机器和设备性能,使设备应用上更智能化和自主化;提升电力企业精细化运营管理,改善安全和执法。
电力大数据应用前景广阔,也面临着巨大的挑战。主要包括以下几个方面:
数据质量方面的挑战数据体量大并不代表数据中所带有的信息量和数据价值高,电力大数据的数据来源涉及发、输、变、配、用电和调度的各环节,数据量大且杂,准确性和完整性不高将会影响电力大数据的应用。
数据集成方面的挑战在进行电力数据集成的过程中,电力企业内部系统众多,电力数据被分别存储于很多不同的数据库内,形成了信息孤岛;有部分数据由于系统业务功能重复,在多个系统中进行了重复录入;多种测量、采集方式记录的同一组数据可能存在着偏差;数据具有广泛的异构性,从原来的以结构化为主的数据类型转变为了结构化、半结构化、非结构化三者结合的数据类型。
数据分析方面的挑战传统的数据分析方法主要是用来处理结构化的数据,随着大数据时代的到来,研究半结构化、非结构化数据的处理、分析与提取技术变得十分迫切;那些力求通过复杂算法从有限的数据集中获取信息的传统方法已经不能适应大数据分析,大数据分析模式下,更注重数据处理的实时性,通过高效的算法对全体数据进行实时分析。
数据可视化方面的挑战电力大数据的数据量大、数据结构复杂使得其在数据可视化方面面临着新的挑战。有效的可视界面使得人们能够更容易的研究、浏览、观察、操纵、探索、发现、过滤、理解大规模数据,同时这也有助于发现隐藏在信息内部的特征和规律,并更方便与之进行交互。
数据存储方面的挑战如何提高数据的查询、统计、更新效率是结构化数据存储的关键点;对于图片、视频等非结构化数据会出现存储、检索困难;对于半结构化数据,数据的转化存储,或者按照非结构化数据进行存储,都存在较大难度。

通过分析可以看出,大数据时代的到来,给信息化程度很高的电力行业,带来了机遇,也带来了挑战,大数据在电力行业得到越多应用,其能够带来的价值也就越高。应把传统的电力企业信息管理工作思路转变为以数据为中心的信息化理念,从而促进电力工业与信息化的深度融合,实现全新的工作方式和商业模式,并能在智能电网建设中发挥更大的作用。
鹏锐技术自主研发的WIZ DATA(企业级大数据平台)专为解决工程领域大数据应用方面的产品。WIZ DATA通过对海量实时生产数据进行挖掘和分析,为企业提供预警及报警管理、设备故障诊断及管理、数据浏览及趋势分析等功能,可以对生产过程进行优化,提高经济效益。WIZ DATA(企业级大数据平台)具有如下特性:
充分利用现有资源
WIZ DATA能够通过增加资源的方式进行扩展,无需替换原有的资源;系统提供统一的数据采集服务接口,能够充分利用AMS、SIS、移动终端已有的数据;数据经过清洗处理后,通过数据服务组件提供分析数据。
灵活的扩展性
WIZ DATA作为一个工业级大数据平台,可以通过灵活配置、增加硬件资源来降低数据量大引起的性能压力,通过插接式的功能升级来满足新的业务需求。同时,WIZ DATA能够通过配置和简单的功能扩展来完善数据规范。
数据安全
数据安全是WIZ DATA的重中之重,系统从多个方面来保证数据安全:
1、建立自动化定期备份机制;
2、通过严格的授权保证数据不被非法访问;
3、采用分布式存储方式,将采集的数据副本存放在多个不同的服务器节点上,当其中一个节点的数据发生故障时,系统还能够进行正常工作,并能自动对故障数据进行修复;
统一数据规范
WIZ DATA对于采集的数据,包括AMS、SIS系统、工作流、移动终端等进行标准化分类,指定信息元数据规范;建立科学的预报警指标体系及异常报警信息规范;指定统一的数据采集接口服务规范,简化数据采集的复杂度,支持不同来源的数据,降低数据接入成本。
转自:电力信息化网

您可以通过以下方式了解更多鹏锐技术详情:
☆请登录鹏锐技术公司官网:www.wiz.top
☆请致电鹏锐技术热线电话:0755-82776311
☆请扫描上方的二维码,关注鹏锐技术公众号
☆请微信公众号查找“鹏锐”关注鹏锐技

