浅谈数据治理

大数据将打开各行各业的数据“潘多拉魔盒”。社交网站、电商巨头、电信运营商乃至金融、医疗、教育等行业，都将加入大数据的“淘金”热潮，政府部门同样会从大数据中获益匪浅。如何将海量数据应用于决策、营销和产品创新？如何利用大数据平台优化产品、流程和服务？如何利用大数据更科学地制定公共政策、实现社会治理？所有这一切，都离不开大数据治理。可以说，在大数据战略从顶层设计到底层实现的“落地”过程中，治理是基础，技术是承载，分析是手段，应用是目的。

首先是基本概念部分，既然谈到数据，我们首先要看一下数据的分类。其实我有点担心提到“分类”这个词，因为每个人、每个角色分类的视角都是不同的，各有道理。这里所提的数据分类，是指在企业信息化领域做数据治理通常的分类方式。有其他方式也欢迎提出来大家一起探讨。我们通常将数据分为：主数据、交易数据、参考数据、元数据和统计分析数据（指标）。

关注的是“人”和“物”，主数据管理（MDM）是数据治理领域一个专门的话题，其主要目的是对关键业务实体（如员工、客户、产品、供应商等）建立统一视图，让客观世界里本是同一个人或物，在数据世界里也能做到唯一识别，而不是在不同系统、不同业务中成为不同的人或物。主数据管理在各行业企业已经有大量的实践，受限于时间，今天不单独展开，其核心管理思想是和后面要谈的数据治理方法一脉相承的。

是一个包罗万象的概念，其本质是为数据提供描述，所以任何数据都有元数据。数据治理领域的元数据，更多是指BI、数据仓库这个范畴内的元数据（国际上有Common Warehouse Meta-model规范），此外还有信息资源管理的元数据（如Dublin core协议）、地理信息元数据、气象元数据等等。正因为如此广泛，也造成了从业者对其有极高的预期以及实践后的极大失落。

数据治理的英文是DataGovernance，不同软件厂商和咨询公司给出的定义也会有所不同，但本质都是相似的。我这里引用《DAMA 数据管理知识体系指南》一书给出的定义：数据治理是对数据资产管理行使权力和控制的活动集合（规划、监控和执行）。数据治理职能指导其他数据管理职能如何执行。

包括了数据模型（概念模型、逻辑模型）以及数据的流转关系，一般在企业级和系统级会谈数据架构，主要对企业数据的分类、分布和流转进行规划、设计，确保新建系统、新建应用能够与现有系统保持一致和融合，避免产生信息孤岛，或者带来重复不必要的数据集成、数据转换。

包括了数据项、参考数据、指标等不同形式的标准。举例来说，“客户类型”是一个数据项，应该有统一的业务含义，将客户归类为大客户、一般客户的规则是什么，数据项的取值是几位长度，有哪些有效值（如01，02，03）等。这方面有国际标准可以参考，如ISO11179，国内很多行业也制定了行业数据标准，如电子政务数据元、金融行业统计数据元等等。

包括数据质量规则以及稽核模型（即规则的组合应用）。数据质量规则一般会关注及时性、准确性、完整性、一致性、唯一性等，展开来谈还有许多内容，有的专家整理出12个数据质量维度，有定性的也有定量的。