大数跨境
0
0

如何做好数据质量管理?

如何做好数据质量管理? 盈天地
2022-05-06
2
导读:构建以数据资产为核心的数据管理体系

数据作为战略资产正在逐步成为金融机构的核心竞争力,构建以数据资产为核心的数据管理体系已成为各大金融机构明确的发展方向,领先者已经在不断探索和利用高质量的数据作为监管合规、经营管理、产品创新等核心能力的基石。


2022年3月,银保监会就EAST报送开具罚单,21家银行合计遭罚8760万元,涵盖了3家政策性银行、6家国有大型银行、12家股份制银行。银保监强调:下一步将继续加大对数据质量违法违规问题的查处力度。日益全面和严格的监管措施和信息披露要求,也对金融机构数据质量管理提出了前所未有的挑战。

01.什么是数据质量管理


数据质量管理是指对支持业务需求的数据进行全面质量管理,通过数据质量相关的管理办法、流程、评价考核规则的制定,及时发现并解决数据质量问题,提升数据的完整性、一致性、准确性、有效性、及时性,以提升数据资产价值。具体如下:


(1)完整性:完整性是指数据信息是否存在缺失的情况,数据缺失可能是整个数据的缺失,也可能是数据中某个字段信息的缺失,例如姓名字段是否存在空值。


(2)一致性:一致性是指数据是否遵循了统一的规范,数据之间的逻辑关系是否正确和完整。规范是指一项数据存在它特定的格式,例如,手机号码是13位的数字组成的;逻辑是指多项数据间存在着固定的逻辑关系。


(3)准确性:准确性是指数据中记录的信息和数据是否准确,数据记录的信息是否存在异常或错误。与一致性不同,存在准确性问题的数据不只是规则上的不一致,一致性问题的原因可能是数据记录的规则不一,但不一定存在错误;而准确性关注的是数据记录中存在的错误,如字符型数据的乱码现象就存在着准确性的问题。


(4)有效性:有效性指的是描述数据遵循预定的语法规则的程度,是否符合其定义,比如数据的类型、格式、取值范围等。如异常大或者异常小的数值等。


(5)及时性:及时性是指数据从产生到可以查看的时间间隔,也称数据的延时时长,是数据世界与客观世界的同步程度。数据的及时性主要与数据的同步和处理过程的效率相关。


02.数据质量问题产生的原因


(1)缺乏统一数据标准:未建立全面、准确、完整地反映金融机构运营状况的全行统一数据语言。数据产生、获取、整合和使用的全过程,需要做到逻辑整合而不仅仅是物理集中。


(2)缺乏数据质量流程和考核机制:缺乏数据管理组织、职责、政策与工作流程,配套技术等。期望通过全面数据管理体系的建立,理顺数据管理各领域职能的相关工作机制,提升银行数据资产的价值。


(3)缺乏对数据全生命周期的规划:数据需求、数据质量、数据应用等问题的管理和解决分散在不同业务和技术部门,没有清晰的协调机制和统一的报告渠道,业务不能及时、按需获得数据支持。


为使金融机构在日常经营活动中积累的大量数据从“包袱”变成“金矿”,数据质量管理体系的构建就变得尤为重要和迫切。


03.如何做好数据质量管理


在数据生命周期的任何一个阶段,需有严格的数据规划和约束来防止质量问题的产生,需建立事前、事中、事后管理流程:


(1)事前:基于数据项和关联关系,对内部情况、监管要求进行梳理;并建立数据标准,将数据与数据标准对比,明确业务规则,验证数据结果;明确关键数据项,设计检核规则,实施日常监测,并发布监测报告。


(2)事中:基于以往的数据质量问题设计数据校验规则,制定质量问题处置方案,包括问题处置原则、标准、时间要求等,开展问题处置与备案,跟进问题处置进度,并建立规范有效的问题沟通机制,提升各部门沟通效率。


(3)事后:健全问题闭环管理机制,快速定位问题原因,对问题快速响应;基于业务、系统、数据对问题进行根因分析,设计问题整改方案,建立问题跟踪机制和反馈流程,掌握问题整改进度;并优化更新检核规则,完善管理流程,及时更新数据标准,以完善系统化的管理体系。


04.如何做好数据质量管理


1、构筑数据质量管理组织:

数据质量管理组织的工作职能涵盖了数据质量工作范围的界定、人员和流程管理等,组织内需要明确数据质量管理的工作目的、管理范围、工作职责、以及数据质量管理的其他相关活动和管理流程等。建立目的包括:

● 贯彻执行数据质量体系框架,明确数据质量管理范围。

● 组织各项数据管理制度的建立,通过统一数据标准,确定数据质量评估的基础。

● 加强全行数据管理工作,推动建立数据质量的长效机制,作为提高数据质量的基石。


2、建立质量管理流程:

数据质量管理流程主要包括数据质量持续监控、数据质量优化提升、数据质量主动保证三个主流程,强化日常的数据质量监控与问题评估工作。实现事前预防、事中监控、事后处理的全面数据质量管理机制。



3、平台工具:实现数据质量管控在系统落地

数据质量管理模块的功能为:基于采集的元数据,将元数据与数据标准对标生成数据质量规则,并根据质量规则对全行数据进行定期或者手动的数据质检,并针对发现的质量问题启动问题整改流程。主要包含:

● 数据质量规则管理:数据质量规则管理模块通过将元数据与数据标准对标,将对标结果转换成质量问题进行跟踪管理,建立数据标准落地实施管理的持续机制,同时可以根据业务系统的特定质量需求补充个性化的度量规则。


● 数据质检任务监控:依据数据质量规则,建立周期性的数据质量质检计划。数据质检任务按照指定的周期自动执行,并记录执行结果。


● 数据质量问题管理:对数据质检阶段发现的数据质量问题进行修正,实现数据质量问题的后续处理功能。具体功能包括:数据质量问题的评估及任务分派、对数据质量问题的处理状态、处理结果进行跟踪、数据质量问题处理的复核及关闭。


● 数据质量分析报告:提供多维度质量分析报表,支持对数据质量问题线上分析,以便进行有针对性的数据质量闭环管理及质量改进。

大数据环境对数据治理的要求呈趋严态势,金融机构应从监管合规、经营管理、产品创新等角度出发,建立统一的企业级数据标准,夯实数据质量,确立清晰的数据管理与应用体系,以达到源头管控,长效治理的目标。


互动小彩蛋  /   YTD

联系我们

体验更多盈天地产品及服务

欢迎扫码交流获取

留言有奖

关于银行数据质量管理

你还想了解哪些内容呢?

留言和我们说说吧!

截止2022年5月13日 14:00

留言区前10名且点赞超过10中抽1位

盈天地定制周边1份


YTD


往/期/精/选

热门内容戳戳看

营销中台白皮书01

营销中台白皮书03

营销中台白皮书05

资讯早报内容营销

智盈数据焕新发布

数据存储计算中心

普惠金融高效获客

营销中台白皮书02

营销中台白皮书04

产品迭代4大亮点

智盈数据产品简介

千人千面精准营销

数据标准管理

【声明】内容源于网络
0
0
盈天地
盈天地国内领先的数字化转型新物种服务商,专注于研究Mar-tech前沿技术,为金融机构提供数字化转型战略规划、科技平台搭建、数据策略、营销运营及培训咨询服务。助力金融机构构建智能营销生态,让业务增长自然发生。
内容 140
粉丝 0
盈天地 盈天地国内领先的数字化转型新物种服务商,专注于研究Mar-tech前沿技术,为金融机构提供数字化转型战略规划、科技平台搭建、数据策略、营销运营及培训咨询服务。助力金融机构构建智能营销生态,让业务增长自然发生。
总阅读228
粉丝0
内容140