大数跨境

《数据资产管理实践白皮书(4.0)》(一)

《数据资产管理实践白皮书(4.0)》(一) 数组智控产业发展科技院
2021-07-13
3
导读:一、数据资产管理概述众所周知,数据是资源,伴随着大数据时代支撑数据交换共享和数据服务应用的技术发展,不断积淀


一、数据资产管理概述


众所周知,数据是资源,伴随着大数据时代支撑数据交换共享和数据服务应用的技术发展,不断积淀的数据开始逐渐发挥它的价值,因此,业界提出可以将数据作为一项资产,盘活数据以充分释放其附加价值。但是事实上,如果缺乏恰当有效的管理手段,数据也可能会成为一项负债。同时,相较于实物资产,数据资产的管理目前还处于初级阶段,数据质量、数据安全、资产评估、资产交换交易等精细管理、价值挖掘和持续运营也较为薄弱。


数据资产管理是现阶段推动大数据与实体经济深度融合、新旧动能转换、经济转向高质量发展阶段的重要工作内容。本章将阐述数据资产管理的定义与内涵,分析数据资产管理在大数据领域的重要意义,并对数据资产管理在大数据发展中的趋势进行分析,探讨数据资产管理在企业中的实践模式。


() 数据资产管理的定义与内涵


1. 数据资产管理的概念


数据资产Data Asset)是指由企业拥有或者控制的,能够为企业带来未来经济利益的,以物理或电子的方式记录的数据资源,如文件资料、电子数据等。在企业中,并非所有的数据都构成数据资产,数据资产是能够为企业产生价值的数据资源。


数据资产管理DAMData Asset Management)是指规划、控制1和提供数据及信息资产的一组业务职能,包括开发、执行和监督有关数据的计划、政策、方案、项目、流程、方法和程序,从而控制、保护、交付和提高数据资产的价值。数据资产管理需要充分融合业务、技术和管理,以确保数据资产保值增值。


2. 数据资产管理的内涵


数据资产管理在大数据体系中的定位如图 1 所示,它位于应用和底层平台中间,处于承上启下的重要地位。对上支持以价值创造为导向的数据应用开发,对下依托大数据平台实现数据全生命周期的管理。数据资产管理包括两个重要方面,一是数据资产管理的核心管理职能,二是确保这些管理职能落地实施的保障措施,包括战略规划、组织架构、制度体系等。



数据资产管理贯穿数据采集、存储、应用和销毁整个生命周期全过程。企业管理数据资产就是对数据进行全生命周期的资产化管理,促进数据在内增值,外增效两方面的价值变现,同时控制数据在整2个管理流程中的成本消耗。在数据的生命周期开始前,企业先期制定数据规划、定义数据规范,以期获得实现数据采集、交付、存储和控制所需的技术能力。数据资产管理一般来说包括统筹规划、管理实施、稽核检查和资产运营四个主要阶段,详见第三部分数据资产管理的实施要点


3. 数据资产管理的演变


数据管理的概念是伴随上世纪八十年代数据随机存储技术和数据库技术的使用,计算机系统中的数据可以方便地存储和访问而提出的。国际数据管理协会(DAMAData Management Association International)在 2009 年发布的数据管理知识体系 DMBOK1.0中,将数据管理定义为规划、控制和提供数据资产,发挥数据资产的价值。DAMA 数据管理体系将数据管理划分为 10 个领域,分别是数据治理、数据架构管理、数据开发、数据操作管理、数据安全管理、参考数据和主数据管理、数据仓库和商务智能管理、文档和内容管理、元数据管理和数据质量管理。其中,数据治理是高层次的、规划性的数据管理制度活动,其关键管理活动包括制定数据战略、完善数据政策、建立数据架构等,注重数据的使用者、使用方式、使用权限等合规性制定,强调开展数据资产全生命周期管理前的基础工作,关注数据资产管理中的相关保障措施。


2015 年,DAMA DBMOK2.0 知识领域将其扩展为 11 个管理职能,分别是数据架构、数据模型与设计、数据存储与操作、数据安全、数据集成与互操作性、文件和内容、参考数据和主数据、数据仓库和商务智能(BIBusiness Intelligence)、元数据、数据质量等。


在数据资产化背景下,数据资产管理是在数据管理基础上的进一步发展,可以视作数据管理的升级版。主要区别可以从三方面看:数据管理的视角不同,数据资产管理强调数据是一种资产,基于数据资产的价值、成本、收益开展全生命周期的管理。二是管理职能有所不同,数据资产管理包含数据模型、元数据、数据质量、参考数据和主数据、数据安全等传统数据管理职能,同时整合数据架构、数据存储与操作等内容,将数据标准管理纳入管理职能,并针对当下应用场景、平台建设情况,增加了数据价值管理职能。三是管理要求有所升级,在数据资源管理转向数据资产管理的理念影响下,相应的组织架构和管理制度也有所变化,需要有更专业的管理队伍和更细致的管理制度来确保数据资产管理的流程性、安全性和有效性。


() 数据资产管理的重要性


数据作为越来越重要的生产要素,将成为比土地、石油、煤矿等更为核心的生产资源,如何加工利用数据,释放数据价值,实现企业的数字化转型,是各企业面临的重要课题。虽然充分有效挖掘数据价值的过程中充满了障碍,但是数据资产管理逐步扫平了这些障碍。


1. 数据价值难以有效发挥的原因


当前企业在数据资产管理中面临诸多问题,这些问题阻碍了数据的互联互通和高效利用,成为了数据价值难以有效释放的瓶颈,主要包括以下几点:


一是缺乏统一数据视图。企业的数据资源散落在多个业务系统中,企业主和业务人员无法及时感知到数据的分布与更新情况,无法快速找到符合自己需求的数据,也无法发现和识别有价值的数据并纳入数据资产。


二是数据孤岛普遍存在。据统计,98%的企业都存在数据孤岛问题②。而造成数据孤岛的原因既包括技术上的,也包括标准和管理制度上的,这阻碍了业务系统之间顺畅的数据共享,降低了资源利用率和数据的可得性。


三是数据质量低下。糟糕的数据质量常常意味着糟糕的业务决策,将直接导致数据统计分析不准确、监管业务难、高层领导难以决策等问题。根据数据质量专家 Larry English 的统计,不良的数据质量使企业额外花费 15%25%的成本。而数据能够被当作资产,并发挥越来越大的价值,其前提是数据质量的不断提升。


四是缺乏安全的数据环境。数据安全造成的风险主要包括数据泄露与数据滥用等。根据数据泄露水平指数(Breach Level Index)监测,2013 年以来全球数据泄露高达 130 亿条④,其中很多都是由于管理制度不完善造成。随着各个机构数据的快速累积,一旦发生数据安全事件,其对企业经营和用户利益的危害性将越来越大,束缚数据价值的释放。


五是缺乏数据价值管理体系。大部分企业还没有建立起一个有效管理和应用数据的模式,包括数据价值评估、数据成本管理等,对数据服务和数据应用也缺乏合规性的指导,没有找到一条释放数据价值最优路径


2. 数据资产管理是充分发挥数据价值的必经之路


数据资产管理通过解决释放数据价值过程中面临的诸多问题,以体系化的方式实现数据的可得、可用、好用,用较小的数据成本获得较大的数据收益,具体体现在以下六个方面:


一是全面掌握数据资产现状。数据资产管理的切入点是对数据家当进行全面盘点,形成数据地图,为业务应用和数据获取夯实基础。从资产化管理和展示数据的角度出发,数据地图作为数据资产盘点的输出物之一,不承载具体数据内容,却可以帮助业务人员快速精确查找他们想要的数据。其次,数据地图作为企业数据的全盘映射,帮助数据开发者和数据使用者了解数据,并成为对数据资产管理进行有效监控的手段。


二是提升数据质量。早在 1957 年的时候,计算机刚刚发明的时候,大家就意识到数据对于计算机决策的影响,提出 Garbage In Garbage Out⑤的警示。2001 年,美国公布《数据质量法案(Data Quality Act)》,提出提升数据质量的指导意见。2018 年,中国银行保险监督管理委员会发布《银行业金融机构数据治理指引》,强调高质量的数据在发挥数据价值中的重要性。数据资产管理通过建立一套切实可行的数据质量监控体系,设计数据质量稽核规则,加强从数据源头控制数据质量,形成覆盖数据全生命周期的数据质量管理,实现数据向优质资产的转变。


三是实现数据互联互通。数据资产管理通过制定企业内部统一的数据标准,建立数据共享制度,完善数据登记、数据申请、数据审批、数据传输、数据使用等数据共享相关流程规范,,打破数据孤岛,实现企业内数据高效共享。同时搭建数据流通开放平台,增强数据的可得性,促进数据的交换流通,提升数据的服务应用能力。


四是提高数据获取效率。Gartner 统计,数据分析人员或数据科学家需要花费 70%80%的精力在数据准备上。数据资产管理通过搭建数据管理平台,采取机器学习等相关自动化技术,将大量前期的数据准备时间和交付项目的时间缩短,提升数据的获取和服务效率,让数据随时快速有效就绪,缩短数据分析人员和数据科学家的数据准备时间,加快数据价值的释放过程。


五是保障数据安全合规。保障安全是数据资产管理的底线,数据资产管理通过制定完善的数据安全策略、建立体系化的数据安全措施、执行数据安全审计,全方位进行安全管控,确保数据获取和使用合法合规,为数据价值的充分挖掘提供了安全可靠的环境。


六是数据价值持续释放。存储和管理数据的最终目的是实现数据的价值,数据资产管理将数据作为一项资产,并通过一个持续和动态的全生命周期管理过程,使数据资产能够为企业数字化转型提供源源不断的动力。从企业高管到业务人员及技术人员,全员都要以持续释放数据价值为理念来重视数据资源管理工作。管理方面,建立一套符合数据驱动的组织管理制度流程和价值评估体系。技术方面,建设现代化数据平台、引入智能化技术,确保数据资产管理系统平台持续、健康地为数据资产管理体系服务。


() 数据资产管理是各方关注的重要议题


数据资产管理不仅仅是单一机构的课题。近年来,地方政府层面越来越重视数据资源的管理,开展了很多工作。在新一轮的政府机构改革中,设置专门的数据管理机构成为热点,已有贵州、山东、重庆福建、广东、浙江、吉林、广西等省份设置了厅局级的大数据管理局,统筹推动地方数字政府建设,促进政务信息资源共享协同应用。早2017 7 月,贵州省大数据发展领导小组办公室印发实施了《贵州省政府数据资产管理登记暂行办法》,成为全国首个出台政府数据资产管理登记办法的省份。


行业层面,金融行业高度重视数据资产管理工作。2016 12 30 日,中国证券业协会发布《证券公司全面风险管理规范》,明确指出证券公司应当建立健全数据治理和质量控制机制。2018 5 月,银保监会(原银监会)发布《银行业金融机构数据治理指引》,要求银行业应该将数据治理纳入公司治理范畴。2018 年,中国支付清算协会针对非银行支付机构数据资产管理状况开展了调研。医疗行业,2018 9 月,国家卫生健康委员会印发《国家健康医疗大数据标准、安全和服务管理办法(试行)的通知》,2019 4 月,国家卫生健康委办公厅印发《全国医院数据上报管理方案(试行)》及《全国医院上报数据统计分析指标集(试行)》,充分发挥健康医疗大数据作为国家重要基础性战略资源的作用。在工业领域,在工业和信息化部信息化与软件服务业司指导下,工业互联网产业联盟(AII)联合中国信息通信研究院发布了《中国工业企业数据资产管理调查报告2018)》。


国家层面,数据合规性与数据跨境流动成为各国关注重点。20176 1 日正式生效的《中华人民共和国网络安全法》第三十七条规定:关键信息基础设施的运营者在中华人民共和国境内运营中收集和产生的个人信息和重要数据应当在境内存储。因业务需要,确需向境外提供的,应当按照国家网信部门会同国务院有关部门制定的办法进行安全评估2018 5 25 日,一般数据保护条例(GDPR)正式在欧盟实施。各国对于数据跨境流动的关注则包含了数据主权、隐私保护、法律适用与管辖、乃至国际贸易规则等内容。


() 数据资产管理的现状与发展


随着管理数据对象越发复杂,数据处理技术越发成熟,数据应用范围越发广泛,数据资产管理在数据处理架构、组织职能、管理手段等方面逐渐呈现了一些新的特点和发展趋势。


1. 数据管理对象变化


数据作为数据资产管理的对象,在近些年体现出规模海量、来源多样、格式繁杂、采集实时等特征。在数据量方面,单一机构的数据规模由以前的 GB 级上升到 TB 级,甚至 PB 级、EB 级,数据增速快。在数据格式种类方面,除传统的结构化数据之外,文本数据、图像数据、语音数据、视频数据等半结构化数据或非结构化数据占比越来越大,种类日益丰富。在数据来源方面,数据既包括内部数据,也包括来自第三方的外部数据,既包括传统业务处理采集的业务数据,也包括手机终端、传感器、机器设备、网站网络、日志等技术产生的数据。同时,由于秒级或者毫秒级的响应将帮助企业更快地洞察与分析数据,实时数据正在成为企业数据重要的管理对象,目前实时数据采集和处理已广泛应用于互联网、零售、电力、交通等多个行业,利用物联网、实时数据库等技术实现交易实时处理、生产实时监控、交通实时调控等。


2. 处理架构更新换代


处理架构的更新换代体现以下几个方面。一是数据处理的底层架构向云平台和分布式系统迁移。Gartner 2018 年针对数据和分析采用方式的调查结果表明,63%企业目前使用最普遍的信息基础架构技术为基于云平台的数据存储。同时以 HadoopSpark 等分布式技术和组件为核心的计算&存储混搭的数据处理架构,能够支持批量和实时的数据加载以及灵活的业务需求。二是数据的预处理流程正在从传统的 ETL 结构向 ELT 转变。传统的数据集成处理架构是 ETL 构,这是构建数据仓库的重要一环,即用户从数据源抽取出所需的数据,经过数据清洗,将数据加载到数据仓库中去。而大数据背景下的架构体系是 ELT 结构,其根据上层的应用需求,随时从数据湖中抽取想要的原始数据进行建模分析。


3. 组织职能升级变迁


传统的管理制度体系中,数据管理职能主要由 IT 部门来负责,IT 部门的一项工作,业务部门配合 IT 部门执行数据管理,提出需求。随着数据分析与业务融合越来越深入,业务部门逐步成为大数据应用的主角,因而数据资产管理在企业中扮演越来越重要的角色。出现了越来越多的企业设置专门的数据管理职能部门或首席数据官CDOChief Data Officer)岗位。在这种变迁背景下,数据管理的组织架构也面临革新的需求。


4. 管理手段自动智能


依靠手工人力的电子表格数据治理模式即将被自动智能专业工具取代,越来越多的数据管理员、业务分析师和数据领导者采用平台工具增强企业的数据管理能力,包括梳理元数据、管理主数据,优化数据集成、提升数据质量等。具体来说,机器学习和人工智能通过自动提取元数据,将不同的数据进行关联并分析;通过配置和优化主数据,使主数据的管理更加便捷和准确;通过语义分析实现相同数据源的连接,简化数据集成流程;通过增强数据的分析、清理和识别,提升数据质量。同时,随着智能优化技术不断引入到数据管理活动中,数据间的多维关系将被自动化识别和可视化展现,帮助用户高效探索数据和分析数据,降低数据使用门槛,有助于非专业人士成为数据科学家,扩大数据的使用对象和应用范围。


5. 应用范围不断扩大


数据资产管理的使用不仅仅局限于拥有海量数据或强大数据处理能力的机构,任何一个机构都可以成为数据资产化管理的实践者。选择一个小型且效果明显的项目实施数据资产管理,也可以成为逐步构建完整数据资产管理体系的良好开端。此外,数据资产的应用范围已经从传统的企业内部应用为主发展为支撑内部和服务外部并重,数据资产应用和服务范围的扩大成为企业战略发展的一部分,实现数据资产保值到增值的跨越。



【声明】内容源于网络
0
0
数组智控产业发展科技院
以AI技术为底层能力,聚焦智慧园区、城市公共安全、数智警务、健康医疗、能源电力、科研实验及平安校园等领域,提供从感知到决策的全流程软硬件一体化的国产装备智能体产品解决方案。
内容 986
粉丝 0
数组智控产业发展科技院 以AI技术为底层能力,聚焦智慧园区、城市公共安全、数智警务、健康医疗、能源电力、科研实验及平安校园等领域,提供从感知到决策的全流程软硬件一体化的国产装备智能体产品解决方案。
总阅读1.6k
粉丝0
内容986