
前言
数据为现代社会提供了巨大的价值。然而,数据在带来价值的同时,其本身又有着相当的治理需求。在大数据领域,数据治理可以说是高频次的出现。那么,为什么需要数据治理?应该怎么来实施数据治理?
01
数据治理的背景
说起数据治理,往往会跟数据仓库进行对标,数据治理跟数据仓库是什么关系呢?一般而言数据仓库主要解决多源数据汇聚、存储和数据分析的问题,在数据仓库的体系中极少提到数据资产化的概念,那么数据治理在传统的数据仓库的基础上,更多的体现数据资产化的概念,所以数据治理的核心能力并不是有限的数据分析,而是数据价值的充分挖掘和体现。
那么数据治理为什么不叫数据管理呢?数据管理更多的是如何来管理数据,而数据治理更充分的体现数据的价值,通过一系列的治理活动来提升数据的价值,发挥数据应有的作用,使数据驱动应用。
另外,数据治理与当前比较火热的数据中台又是什么关系呢?我认为数据治理是数据中台的技术实现,通过数据治理的技术体系来建立数据中台。
综上所述,数据治理就是在数据爆发式增长的形势下,数据价值发挥越来越显得紧迫和重要,甚至可以说未来市场的竞争就是数据价值的竞争。所以只有建立完整的数据治理体系,才能保障数据内容的质量,才能真正有效的挖掘数据价值,提升竞争力。
02
数据治理的设计方法
首先我们要考虑数据治理的目标,其一对数据通过统一的视图进行管理;其二对多源数据进行标准化处理;其三数据资产化最重要的活动,数据价值挖掘的基础。
第1要素
标准先行,一般来说需要事先制定“数据分类及编码标准”、“数据目录标准”、“数据项标准”、“数据安全标准”、“数据交换共享标准”。
第2要素
依据标准建立数据目录管理功能,通过数据目录管理来落实数据分类编码、数据目录和数据项标准。
第3要素
建立数据清洗规则,使数据目录与源数据表建立映射,数据项与源表数据项建立映射,通过ETL实现对源数据的清洗。
第4要素
建立数据质量管理功能,按照数据目录定期检查数据的质量问题,并通过数据问题库来记录和跟踪数据的质量问题,从而达到持续改进数据治理的效果。
第5要素
建立数据安全管理功能,数据安全主要通过三方面来实现,其一是数据加密、脱敏等技术,其二是数据权限,包括表级、行级和列级权限定义,其三对数据交换共享进行日志记录,并定时自动审计数据安全问题。
第6要素
建立数据服务功能,一般都会提供通过文件、接口的方式来提供数据服务功能,按照数据安全标准对数据服务方式进行处理。
第7要素
再说一下ETL,支持通过表对接、文件、接口等方式归集数据,通过数据清洗规则对数据进行清洗转换的处理,从而加载到数据库中,我们用Hive来作为加载数据的数据仓库。
03
菲斐科技与数据治理
上图数据均为模拟数据
菲斐科技在数据治理领域已深耕多年,实现了从数据标准制定到数据清洗、转换、加工、挖掘等数据治理全体系技术覆盖。
截止目前,菲斐科技承建设了信用监测预警平台、地质环境大数据平台、戒毒数据中心、政法大数据中心、民宗大数据等多个领域数据治理项目,在数据治理行业着非常深厚的底蕴。
菲斐科技将在数据治理的道路上砥砺前行,为让数据产生更大价值而努力。
-END-


