大数跨境
0
0

一文读懂“数据质量”丨 全流程一体化的数据治理与数据服务

一文读懂“数据质量”丨 全流程一体化的数据治理与数据服务 杭州正方软件
2023-10-09
1
导读:稳扎稳打,做好数据质量提升

上期我们介绍了“全流程一体化的数据治理与数据服务”平台中“数据标准”的内容【点击文字可查看,这一期我们来介绍其中的“数据质量”管理体系。


数据质量,是指在业务环境下,数据符合数据消费者的使用目的,能满足业务场景具体需求的程度。


高校作为数据的生产者和消费者,期待通过对数据的创新性利用,实现对高校的智慧管理、智慧教学和智慧决策。但实际情况,因缺少高质量的数据支撑,其效果难以达到预期。


当前,很多高校已经陆续开展了不同程度的数据治理工作,也基本按照“一数一源”的原则确定了数据源头。但是对于数据本身而言,仍会存在数据字段缺失、数据内容重复、数据值为空以及数据更新不及时等情况。

高校数据存在的问题


对于信息技术中心、业务部门、数据管理人员以及数据整体而言,各种角色面临不同的业务难点。例如,作为数据管理角色的“信息技术中心”,并不直接生产和使用数据,对上下游业务部门数据的管控有限。不同角色针对不同难点的处理成效不一,致使数据质量提升困难,最终难以达到数据治理和不断提高数据质量的目标。

高校数据治理难点

数据质量的治理和提升不是一次可以完成的事情,而是一个持续改进的过程,通过①计划:明确业务数据需求,定义和制定检测规则;②执行:配置检测任务,根据规则检测数据;③检查:生成质量报告,评估执行结果;④行动:权威部门数据修正改进,通过这样循环的方法达成数据质量提升的目标。

“全流程一体化的数据治理与数据服务”平台中“数据质量管理体系,也是基于以上方法,在数据质量检测与治理中形成闭环、不断迭代,实现数据质量的不断提升

数据质量提升闭环

01#

支持检测模板知识库

“全流程一体化的数据治理与数据服务”平台的数据质量管理体系,内置多种常用检测模板,依靠检测模板知识库,支持sql、正则、值域、枚举等质量检测规则。


02#

支持检测方案场景化构建

可根据不同的场景,构建不同的数据质量检测方案,例如离职教职工仍然有门禁权限的问题,教务系统和学工系统在校学生人数不一致的问题,实现跨系统的数据检测,并可根据不同数据范围配置不同检测规则。

03#

支持检测报告即时推送

可配置多种消息发送渠道,报告以多种形式(图、表)呈现,并支持PC端和移动查看,推送对象根据个性化选择。

检测报告页面

04#

支持与其他业务系统无缝对接

“全流程一体化的数据治理与数据服务”平台采用与第三方系统对接的方案,支持数据在线即时修订,可在同一个页面上对数据进行修订工作,实现无缝对接,形成数据修订闭环管理。

修订流程

05#

支持监控和分析数据质量变化

平台采用定时发送报告,与数据质量监控大屏结合的方式,在日常工作中帮助监控和分析数据质量的变化,及时把控,实现数据质量的有效提升。

质量监控大屏

部分高校客户(排名不分先后)

典型案例

浙江工商大学数据质量提升

→痛点/需求

①数据标准与业务数据之间的差异巨大,异常数据达到880万条次。

②业务系统间无法完成数据交换。

③公共数据不能用、不敢用、不想用。


→解决方式

在建立数据资源目录1.0版本(数据标准)的基础上,通过“全流程一体化的数据治理与数据服务”平台的质量管理体系,建立检测模型137个,依托业务需求,持续不断地对数据进行检测、修订改进,提升整体数据的“质和量”。


→成果

基于平台构建“定规则+控质量”的数据治理新模式,形成检测规则137个,异常数据量从880万条次降低为8千条次,占比0.1%,取得标志性成果。从根本上改变了原来公共数据不能用、不敢用、不想用的状况。


·推荐阅读·

【声明】内容源于网络
0
0
杭州正方软件
我们竭尽全力将正方智慧校园信息平台打造成高品质、充分体现高校自身特色的教育软件臻品。——叶青松
内容 188
粉丝 0
杭州正方软件 我们竭尽全力将正方智慧校园信息平台打造成高品质、充分体现高校自身特色的教育软件臻品。——叶青松
总阅读1
粉丝0
内容188