面向于我们关注的水泥行业的数据资源特点等共性问题,我们重点提出水泥行业数据治理需要去解决的对应数据问题,并综合水泥行业数智化转型现状和要求特性,提出适用于水泥行业的数据治理模式,支撑水泥行业数据治理路径的明确和实施。本文我们将重点从数据治理的工具平台出发进行分享。
水泥企业数据治理体系
首先,我们介绍一下水泥企业数据治理体系内容,重点包含:数据标准、数据质量、数据处理、元数据、主数据、数据资产、数据安全和数据治理评估。
1)数据标准
数据标准是指在组织内部制定一套规范,统一定义数据的含义,以便所有人都能理解和使用数据。这些规范是为了确保数据在内外部使用和交换中具有一致性和准确性,通过定义统一的标准,消除数据的二义性和歧义,从而确保数据的准确性和可信性。
通过数据安全措施和数据标准的制定,企业能够有效管理和保护数据,防止数据泄露和不当使用,同时确保数据在组织内外的一致性和可靠性,为企业的决策和运营提供可信的数据支持。
2)数据质量
衡量数据质量的标准是根据数据治理的需求,定义数据质量的标准,包括数据质量的完整性、唯一性、及时性、有效性、准时性、一致性。
完整性:衡量数据是否完整,即数据的记录和信息是否完整无缺失。
唯一性:评估数据的唯一性,即数据唯一,仅此一份,没有其他数据与其一致。
及时性:评估数据产出和预警的及时性,即数据是否能够在需要时及时产出、分析和传递。
有效性:即对定义数据治理的行为存在实际价值,对数据起到作用为有效数据。
准时性:数据在指定或计划时间内产生的。
一致性:验证不同业务系统或数据仓库中的数据是否保持一致,确保数据在不同环境中的一致性。
3)元数据
元数据是关于数据的信息,它描述了数据的组织结构、数据域以及数据之间的关系。换言之,元数据就是描述数据的数据。
元数据包括两类:技术元数据和业务元数据。技术元数据描述了数据的技术特征和存储方式,如数据表结构、数据类型、索引等。而业务元数据关注的是数据的业务含义和用途,它描述了数据的业务上下文和数据血缘。
通过使用元数据,数据分析人员可以清晰地了解企业拥有哪些数据,这些数据存储在何处,如何提取、清洗和维护这些数据,从而建立起数据的血缘关系。
4)主数据
企业主数据就是指企业内部各个部门和系统之间共享和一致的重要数据。换句话说,就是公司中被认可的权威数据,包括员工信息、客户数据、机构信息、供应商信息等等。这些数据对于企业来说非常重要,可以看作是公司的核心资产。为了有效管理这些数据,一般需要做到以下几点:管理和监督各个组织机构、子公司、部门对主数据的访问,制定访问规则和管理原则;定期评估主数据的完整性,确定达到预期目标的程度;组织相关人员和机构,统一进行主数据建设,并提供技术和业务流程的支持;在整个集团范围内进行统筹规划和管理。
5)数据处理
数据处理是数据治理的核心工作,能够依据对数据业务场景的实际需求,对数据内容进行具体处理,保证相关数据根据处理后达到场景应用要求,支撑相关业务场景的正常运行。其中对应支撑能力包括:
数据清洗:字符添加、字符串替换、文字和数字类型替换
数据加工:字段计算、字段合并、字段分组、行列切换、数据标准化
6)数据资产
在数字化转型过程中,企业通常会进行数据资产梳理,即对数据进行合理利用,以实现价值。这是数据资产管理中的核心工作。在构建企业的资产时,会从业务角度和技术角度进行考虑,然后将其合并,输出统一的数据资产分析,并提供统一的数据查询服务。
数据资产的盘活主要包括以下方面:首先,通过对数据进行全面、准确的收集和整理,确保数据的质量和完整性;其次,利用数据分析技术和工具,深入挖掘数据中价值;最后,将数据以合适的方式展现,形成完整的数据资产全景视图,使运营者可以全面、宏观地掌握企业资产的动态。
通过盘活数据、形成数据资产和提供完整的数据资产全景视图,企业可以方便地进行全局性的掌控和决策,进而实现更高效的运营和管理。
7)数据安全
数据安全是企业数据治理中至关重要的问题。为了确保数据的安全性,企业通常会将数据存储在安全的磁盘中,并采取措施对数据进行定期核查、加密和访问权限控制,以保证数据的安全使用。
8)数据治理评估
数据治理评估是整体数据治理体系工作的重要内容,是数据治理全生命周期的重要环节,将支撑从设计、开发到运行全过程的数据治理评估能力,实现数据治理评估监控。其中包括设计阶段质量评估、开发阶段评估、运行阶段评估、全流程监控评估。
设计阶段质量评估:明确数据质量规则是设计出来的,并作用于数据处理过程,具备灵活调整的特性,可实现PDCA循环的落地,保证设计阶段评估情况。
开发阶段评估:在开发阶段,实现规则配置和规范检查。包括:1)规则配置;2)规范检查。
运行阶段评估:运行阶段,实现系统质量规则监控告警。
全流程监控评估:实现全流程监控功能,各层的监控包含但不限于以下规则:1)数据来源质量监控规则;2)数据输出质量监控规则。
数据治理平台支撑能力
面对数据治理体系内容的数据治理平台所支撑的相关能力如下:
1)数据标准管理
为数据的业务标准、技术标准和管理标准提供统一的平台性支撑。提供编目标准能力,按不同目录标准规范,对数据资源按不同维度进行划分;提供包括分级管理、标签管理、函数管理和数据字典管理,支持企业自定义创建数据标准、数据标准规则、数据标准模板等;支持对标准内容和数据标准描述等数据标准的修改。提供技术环节数据标准规范,对企业现有业务系统进行梳理;按照数据标准规范的构成进行数据标准规范的制定,以此为依据进行规范化的升级、管理,保证水泥企业统一的数据标准规范。
2)数据质量管理
数据质量管理提供从数据质量全流程管理,支持数据质量规则定义定制化,包括规则定义和权重分配。提供数据质量作业,完成数据清洗、已有数据、质量核验、评估结果、质量报告、数据预警、问题数据整改进而帮助提升数据质量的全生命周期过程。有效解决流程型生产特征明显的水泥行业,包括:数据不完整、数据重复、数据失效、数据不统一、数据不准确、数据不及时等相关数据问题。具体支撑模块包括:质量规则定义、质量规则模板、数据质量作业和数据质量报告,保证用户的一站式数据质量保障体验。
3)元数据管理
在完成整体数据标准规范和数据质量规范后,需要通过元数据管理进行支撑,元数据管理提供元数据查询、元数据维护、元数据分析功能,即支持对元数据的增删改查,通过检索对元数据基本信息进行快速查询与定位,提供数据血缘分析、影响分析、全链分析等分析服务。通过元数据以水泥企业全局视角对水泥企业各业务域的数据资源进行盘点,实现水泥企业数据资源的统一梳理和盘查。
4)主数据管理
完成对企业数据资源的统一梳理和盘查后,需要重点考虑数据资源和业务的关联关系,通过主数据管理完成相关水泥企业业务域和业务场景的分类管理。主数据管理平台基于标准模型规范,为企业实现主数据统一编码、集中维护、质量检测、主数据分发等全生命周期的管理。通过构建企业黄金数据,保证各个系统间共享数据的一致性、完整性、可控性、通用性和正确性,以先融合后统一的建设思路,突破主数据落地实施的难点,以自动化的手段进行数据清洗融合,降低主数据治理成本,搭建主数据服务体系,解决主数据集成难、应用难的问题,实现主数据统一、自动的管理能力。
5)数据处理管理
通过数据基础规范体系能力的建立和元数据与主数据的管理支撑,水泥企业后续需要重点考虑结合业务场景的数据处理能力。如何基于数据处理能力构建业务相关的数据模型,进而帮助业务关联数据的自动化、流程化和智能化的实现,对于企业而言有很重要的意义。
数据处理管理支持各种数据源的输入,支持多种数据类型输入,如EXCLE表、CSV、SQL等,为数据建设提供支撑;具备多种转换组件,自定义实现数据的多维度处理,构建数据模型;支持数据模型的动态监测,满足数据模型的发布应用。
在数据处理模块提供可视化便捷组件,具体组件包括:连接组件、清洗组件、聚合组件、集合组件、过滤组件、排序组件等。基于丰富的组件能力,可以快速支撑各种类型数据的快速流程化处理,并支撑处理后数据按照业务场景需要进行交互、导出和集成。
6)数据资产管理
通过数据处理模块的支撑沉淀下来的数据因其与业务的紧密关联性,对于企业而言具备更多价值,可将其作为水泥企业数据资产进行综合管理。数据资产管理提供包括基本管理、数据目录、数据血缘、数据探查和数据权限管理。
构建企业数据资产可以提高数据可用性和易用性,提升数据使用效率,以数据赋能业务。通过数据资产地图将数据可视化、资产化,一目了然的把控数据资产情况,实现多维度的数据管理。
7)数据安全
数据安全将对水泥企业的总体数据资产提供平台级别的数据安全支撑。提供公钥证书、敏感字段、敏感字段访问监控,敏感数据识别、脱敏加密和安全文件管理等功能。能够实现基础数据安全下的字段级数据安全防护措施,不影响业务、不降低性能的前提下,保障企业数据的安全防护。

