

开拓先峰！煤炭行业首个集团级数据治理项目落地

亿信华辰

2021-01-26

导读：煤炭行业第一个集团级数据治理项目

新挑战孕育新机遇，新机遇孕育新创变。

工业互联网激起能源领域一池春水，新一代信息技术则是其不断发展的加速器。山东能源集团下属临沂矿业集团有限责任公司（以下简称临矿集团）率先在煤炭行业实践大数据建设，响应山东省号召积极开展新旧动能转换，将大数据、云计算、人工智能、工业互联网等技术与企业融合创新，促进企业的精细管理、精准决策、精益运营。

挑战：缺乏健全的数据治理体系

临矿集团是全国煤炭企业50强和山东省重点工业企业之一。2011年划归山东能源集团管理，如今已发展成为一家国内横跨鲁蒙陕甘四省区十余个地市，海外涉足澳大利亚，以煤电、铁矿、玻纤三大产业为支柱，以物流贸易、技术服务、现代农业三大产业为支撑，拥有全资、控股企业21家，后备矿产资源储量200亿吨以上的大型企业集团。

临矿集团于2016年开始建设大数据平台，相继完成集团财务共享、人力共享、设备共享、安全生产、党建平台及大数据平台建设，也面向集团层面建了数据仓库，通过对集团领导与二级单位领导提供云中看板，让领导随时随地了解生产经营信息，及时决策。

但是由于各系统厂商不同，早期也没有健全的数据治理体系，导致在数据使用过程中存在一系列问题：

1、各系统之间，甚至同系统不同表的数据标准不统一，比如存在多套组织机构代码，导致数据关联分析困难。

2、系统设计不规范，缺少审核条件，导致数据质量不够高，存在空值、重复值、误报数据现象。

3、缺乏统一的数据资产管理和数据服务，存在信息孤岛，用数主要靠业务人员自己去业务系统复制粘贴到EXCEL中处理，或者技术人员写SQL查询，数据资产利用效率很低。

4、现有数据仓库还有待完善，尤其是未对原始数据及分析数据进行数据资产编目，业务人员无法获悉企业数据资产，并通过数据分析工具进行分析取数。

5、除了结构化管理数据，煤矿、铁矿等生产企业有海量安全、设备物联网数据，需要对海量实时数据、非结构化数据进行采集和统一存储。

破局：技术和管理双管齐下

为积极响应国家工业互联网、煤矿智能化发展等政策号召，推动集团数字化转型，2019年12月临矿集团选择携手亿信华辰启动“数据治理项目”。

经过临矿集团大数据中心和各业务部门的商讨决策，结合亿信华辰数据治理专家的意见，确定了临矿集团数据治理项目的总体目标为通过涵盖全数据生命周期数据治理，建设涵盖人、财、物、产、供、销、安全等业务领域的集团级大数据资产平台，提供各类数据服务，并实现一线业务人员对数据自助分析应用，完成数据赋能。

项目建设秉承标本兼治原则，严格按照数据治理方法论，管理方面由集团公司高管牵头成立数据治理委员会，制定《临矿集团数据治理项目章程》、《数据资产管理办法》等管理制度；技术方面从基础做起，进行元数据管理、数据标准梳理工作，更重点推进数据质量管控，通过技术层面和管理层面双管齐下，确保集团数据资产质量。

根据项目建设目标，确定项目建设整体框架如下：

图项目整体框架

经过各方沟通确认项目推进思路如下：

图项目推进思路

1、开展集团数据治理，提高数据质量，形成数据资产

如何进行数据治理？通过“盘、规、治”的三字规划路线。

盘：建设集团生产经营数据资源目录，资源目录提供服务接口，为一线业务人员生产运营提供数据支撑，实现数据共享，数据交互，充分发挥数据资产价值。

规：建立基于集团生产经营统一的数据标准规范体系，以及更新机制和使用管理制度，形成服务于数据资源全生命周期的标准规范体系，促进多源异构数据的深度融合和共享应用。

治：建立数据质量管控体系，以规范和制度为约束，通过数据质量检测工具根据制定的数据标准检测数据，及时发现数据问题，进行数据治理并提炼相应的数据质量检核规则，防止同类问题的重复发生，有效提升数据整体数据质量，从而保证提供高质量数据资产。

2、赋能企业业务创新，满足生产经营敏捷分析需求

数据治理的最终目的也还是要落到“用”，也就是数据的交换和数据的应用于服务。

在数据应用方面需要充分考虑一线生产部门日常工作繁重、业务需求多变、且对信息化系统操作能力不强等特点，根据生产、安全、运销、采购、库管等业务主题预设分析维度和指标数据，通过敏捷BI软件让业务人员只需最简单的拖拽操作实现数据分析应用，并自动生成各类统计图表，从而提高一线人员数据自助分析应用能力，让数据成为一线呼唤炮火的基础保障，激发全员创新的主观能动性，形成众人划桨开大船的良好局面。

3、建立企业级Hadoop架构大数据平台

由于煤矿信息化系统存在，系统多、数据量大、生成频次高、数据结构各异特点，需要建设基于Hadoop架构的大数据仓库，解决海量半结构化、非结构化数据的实时采集、实时分析。

最终建设涵盖产、供、销、人、财、物的领域生产经营全要素的煤炭企业大数据平台，全面整合各业务系统数据，并针对回采掘进、安全管控、机电管理、运销、采购、财务等业务场景建设数据集市，为管理层和一线业务人员提供有效数据分析支持，逐步实现煤矿生产经营数据化精细运营管控，实现提质增收、降本增效。