
上期我们介绍了“全流程一体化的数据治理与数据服务”平台中“数据标准”的内容【点击文字可查看】,这一期我们来介绍其中的“数据质量”管理体系。
数据质量,是指在业务环境下,数据符合数据消费者的使用目的,能满足业务场景具体需求的程度。
高校作为数据的生产者和消费者,期待通过对数据的创新性利用,实现对高校的智慧管理、智慧教学和智慧决策。但实际情况,因缺少高质量的数据支撑,其效果难以达到预期。
当前,很多高校已经陆续开展了不同程度的数据治理工作,也基本按照“一数一源”的原则确定了数据源头。但是对于数据本身而言,仍会存在数据字段缺失、数据内容重复、数据值为空以及数据更新不及时等情况。
高校数据存在的问题
对于信息技术中心、业务部门、数据管理人员以及数据整体而言,各种角色面临不同的业务难点。例如,作为数据管理角色的“信息技术中心”,并不直接生产和使用数据,对上下游业务部门数据的管控有限。不同角色针对不同难点的处理成效不一,致使数据质量提升困难,最终难以达到数据治理和不断提高数据质量的目标。
高校数据治理难点
数据质量的治理和提升不是一次可以完成的事情,而是一个持续改进的过程,通过①计划:明确业务数据需求,定义和制定检测规则;②执行:配置检测任务,根据规则检测数据;③检查:生成质量报告,评估执行结果;④行动:权威部门数据修正改进,通过这样循环的方法达成数据质量提升的目标。
“全流程一体化的数据治理与数据服务”平台中“数据质量”管理体系,也是基于以上方法,在数据质量检测与治理中形成闭环、不断迭代,实现数据质量的不断提升。
数据质量提升闭环
01#
支持检测模板知识库
“全流程一体化的数据治理与数据服务”平台的数据质量管理体系,内置多种常用检测模板,依靠检测模板知识库,支持sql、正则、值域、枚举等质量检测规则。
02#
支持检测方案场景化构建
可根据不同的场景,构建不同的数据质量检测方案,例如离职教职工仍然有门禁权限的问题,教务系统和学工系统在校学生人数不一致的问题,实现跨系统的数据检测,并可根据不同数据范围配置不同检测规则。
03#
支持检测报告即时推送
可配置多种消息发送渠道,报告以多种形式(图、表)呈现,并支持PC端和移动查看,推送对象根据个性化选择。
检测报告页面
04#
支持与其他业务系统无缝对接
“全流程一体化的数据治理与数据服务”平台采用与第三方系统对接的方案,支持数据在线即时修订,可在同一个页面上对数据进行修订工作,实现无缝对接,形成数据修订闭环管理。
修订流程
05#
支持监控和分析数据质量变化
平台采用定时发送报告,与数据质量监控大屏结合的方式,在日常工作中帮助监控和分析数据质量的变化,及时把控,实现数据质量的有效提升。
质量监控大屏
部分高校客户(排名不分先后)
典型案例
浙江工商大学数据质量提升
→痛点/需求
①数据标准与业务数据之间的差异巨大,异常数据达到880万条次。
②业务系统间无法完成数据交换。
③公共数据不能用、不敢用、不想用。
→解决方式
在建立数据资源目录1.0版本(数据标准)的基础上,通过“全流程一体化的数据治理与数据服务”平台的质量管理体系,建立检测模型137个,依托业务需求,持续不断地对数据进行检测、修订改进,提升整体数据的“质和量”。
→成果
基于平台构建“定规则+控质量”的数据治理新模式,形成检测规则137个,异常数据量从880万条次降低为8千条次,占比0.1%,取得标志性成果。从根本上改变了原来公共数据不能用、不敢用、不想用的状况。





