作者：沙丘社区分析师团队
案例企业
中国移动通信集团江苏有限公司（以下简称“江苏移动”）是中国移动有限公司在江苏设立的全资子公司，是省内移动用户数、家宽用户数双领先的第一大运营商。
江苏移动积极落实“网络强省”战略，推进网络向高速化、智能化升级，为经济社会信息化发展提供有力支撑；加快产业升级，促进新一代信息技术与江苏省工业制造深度融合，推动江苏制造向江苏智造加速转变。
项目背景
随着大数据、云计算技术的快速发展，移动运营商业务量呈现指数级增长，数据形式、应用需求趋于多样化，数据处理的复杂度达到了一个新的高峰。同时，在中国移动“推进数智化转型，实现高质量发展”的战略背景下，对企业的数据管理与交付能力提出了新的挑战：
挑战1：海量数据挑战。运营商海量多源异构数据给数据集成带来巨大挑战，大数据时代的数据存在多源异构、分布广泛、动态增长等特点，传统ETL方案从数据源到目的地的同步都是通过脚本实现，异构数据源意味着企业要做大量的适配工作。数据类型从以结构化数据为主转向结构化、半结构化、非结构化三者的融合，企业大数据平台需要对不同类型的数据进行统一存储和管理，当数据集成面临成千上万个数据源时，多任务并行需要进行限速与缓冲的调度，让读写速度相互匹配；引入多源异构数据的同时，需要同步引入多源异构的元数据信息，给元数据质量保障带来挑战。
挑战2：数据治理水平挑战。企业数智化转型战略目标，给公司的数据治理整体水平提出更高要求。在企业进行数智化转型的过程中，期望打造的目标是业务数据化、数据资产化、资产服务化、服务业务化，只有形成这样一个闭环，数据才能真正发挥作用，对业务的发展和创新带来价值，从而让数据驱动业务变得更精准、更有效。但是在进行业务多元化和规模化扩展的过程中，数据的产生还伴随着数据的可见、可用、可享等问题，这些都给建设数据应用带来很大挑战。所以，公司只有不断提升数据治理水平，实现数据的可见、可用、可享，才能将数据组织起来作为资产进行管理，从而充分发挥数据资产价值。
挑战3：储算技术挑战。5G+AICDE业务发展，数据量突飞猛进，实时应用场景百花齐放，平台储算能力面临技术挑战。截止2022年7月，江苏移动日均处理5千亿+条数据，较21年同期信令增长率33.44%。随着5G、物联网、家宽等业务的深耕，以及MDT、MR等信令测量数据的引入，预计2022年底达到6千亿条/天，2023年底突破8千亿条/天。现有流处理平台主要支撑的实时场景侧重于根据用户特定行为进行事件营销，但当前营销、服务和管理精细化场景持续拓展，经营实时报表、网格OAO等需求支撑，需要进一步夯实流处理能力。
挑战4：数据交付挑战。目前，数据中台交付面临需求多样化、交付周期长、复杂度高、专业门槛高、生态协作效率低、质量评估无据可依等问题，需要采用标准化的数据交付流程、交付文档和交付工具，为公司的数智化转型提供数据需求分析、模型设计、数据开发、自动化测试、数据发布等服务能力，提升数据中台交付的效率和质量，降低规模化交付成本。
挑战5：运维挑战。数据处理链路的维护工作永无止境，运维成本不断升高。随着大数据平台数据链路的复杂度和集群规模的持续增长，平台运维工作的难度、成本也随之日益增长。大数据平台混搭式的技术架构要求运维人员需要具备较高的技术深度和广度，运维本身涉及到系统的方方面面，比如不同数据库、Hadoop、Redis、Kafka、Flink等，需要构建一套自动化运维工具来解放运维人员，降低技术门槛，不仅提升平台运维效率，同时能够减低运维成本。
江苏移动自2001年起建设企业数据中心及大数据应用，通过历年企业数据中心项目建设，逐步摸索并形成了通信运营商的数据资产管理体系和能力，支撑公司管理决策、业务发展和服务优化。建成储算用一体化大数据平台，围绕基础能力、运营团队，价值应用、共享开放四个方面开展建设和运营。
2021年起，大数据平台演进以数智化转型为导向，在DCMM框架的指引下，深度融合DataOps理念方法和工具，制定了基于“赋能、应用、职能、技术、保障”的数智化战略蓝图，围绕基础设施、储算能力、服务模式、数据能力、赋能应用五个方面进行能力建设运营。
在建设过程中，江苏移动深度挖掘和探索大数据资产管理，跨领域多系统汇聚内外数据源，建设批流一体数据处理架构，打造实时数据仓库。
以DataOps理念为核心，构建数据资产管理平台，纳入数据源管理、元数据管理、数据质量管理、数据标准管理、主数据管理、数据模型管理、数据共享服务管理、数据资产报告和数据安全管理能力；构建中台能力服务体系，实现能力服务可视化，支撑行业大数据产品和需求的快速高质量落地，全面赋能大数据业务。
解决方案
江苏移动在DCMM数据框架和中移集团智慧中台技术规范指导下，同时引入业界先进成熟的DataOps数据管理理论，基于1+N云边协同的数据底座，制定了贯穿“需求、模型、开发、测试、发布、运维”的DataOps全价值链运营管理体系，通过打造以需求驱动的支撑数据“聚、管、用”全生命周期的一站式全链路工具体系，不断提升大数据服务效能，盘活数据资产价值，助力公司数智化转型。
（1）数据中心打破数据孤岛，构建了多源多态数据的汇聚能力
江苏移动企业数据中心实施数据仓库技术架构的演进，采用Hadoop+MPP架构替换存量商业数据库，实现了核心数据库的国产化、自主化。通过打造数据集成工具，实现了多源数据的采集、汇聚，并通过部署企业数据湖，实现多源数据的入湖存储，有效解决了企业中面临的数据孤岛问题，同时大大降低了企业存储和使用数据的成本。
首先，打造数据集成工具，实现异构数据源之间高速稳定的数据同步和交换能力。数据集成工具是一款安全、稳定高效的离线数据批量同步与交换工具，通过数据来源、数据目标，传输条件、转换关系的配置，可快速完成接口文件采集、数据交换、数据外送等场景的支撑。
其次，搭建企业数据库，实现多源多态原始数据的统一入湖。数据湖作为集中化的数据存储仓库，支持的数据类型具有多样性，包括结构化、半结构化以及非结构化的数据，数据来源上包含数据库数据、CDC增量数据、日志数据以及已有数仓上的存量数据等。数据湖能够将这些不同来源、不同格式的数据集中存储管理在高性价比的存储中，如OSS等对象存储或HDFS中，并对外提供统一的数据分析方式，有效解决了企业中面临的数据孤岛问题，同时大大降低了企业存储和使用数据的成本。
（2）高质量落实DCMM标准，提升数据质量水平
江苏移动企业数据中心根据DCMM标准，通过构建遵循CWM标准的元数据管理能力、跨业务模块的数据质量管控、建立全生命周期的数据标准、打造全视角资产目录、构建数据安全体系、构建统一数据服务能力等措施，落实DCMM标准，整体提升数据治理的水平。
第一，构建遵循CWM标准的元数据管理能力，以元数据驱动研发运营。元数据是数据资产管理的核心内涵，也是企业数据治理的关键环节。通过对各类模型对象的业务元数据、技术元数据以及管理元数据的统一纳管，为开展企业级全域资产管控提供了有效抓手。
元数据管理基于CWM标准，遵循MOF元对象统一建模规范，对内构建了一套企业级的元模型，对外提供元数据的注册、删除、修改和查询等基本操作。提供多样化的元数据注册登记能力，提升元数据注册登记的灵活性；通过一键建表能力，保障元数据与物理模型的一致性，避免出现管理视图与实际数据两本账，并支持元数据版本溯源，实现了基于一套元数据驱动下的模型创建与应用部署。
第二，立足业务场景，实现跨业务模块的数据质量管控。数据质量管理明确对数据“一致性、准确性、完整性、合理性、及时性、波动性”的保障要求，着力构建数据质量管控方法，实现跨业务模块的数据质量管控，推动提升数据使用、业务运行、管理与决策等应用场景的需求契合程度。
数据质量管理流程贯穿从测试计划、问题发现到问题处理、解决的全过程，需要各部门团队协作，以达到数据质量管理目标。通过以时间/事件触发驱动的数据质量采集、处理、分析，提供对数据的稽核校验、差异比对，对处理过程、数据应用和业务指标等相关内容的质量管控机制，促进产品和服务的稳定，能够针对性的解决某些常用场景的数据质量问题。
第三，搭建全生命周期的数据标准能力，实现标准化治理。数据标准是数据治理的奠基石，只有基于一套完善可落地的标准规范，才能保障数据治理的有效推进。基于数据标准治理白皮书，为数据标准管理提供了企业级标准规范的定义与管理能力，实现数据全生命周期管理，规范数据开发过程，实现标准化治理。
数据标准管理提供分层分域标准、术语标准、字段标准等数据元标准设计能力，以及面向标准规则约束的命名编码与规则的设计能力，通过简单便捷的交互方式，实现各类标准的页面可视化配置。落地配置的标准规范对后续资产实体登记注册提供了标准参考以及规范约束，为实现企业级的资产定义统一、口径统一、名称统一、参照统一奠定了基础。
第四，打造全视角资产目录，积极释放数据价值。数据目录是面向业务人员、技术人员、管理人员提供了全视角的数据资产目录分类整合、高效查询、开放订阅的能力，实现对资产实体对象的检索、查看、订阅、导出、评价，以及数据全链路的血缘探查。在数据目录中，数据消费者根据自身需求发起数据对象的订阅，数据管理者对数据消费者订阅的数据对象的敏感情况以及订阅需求的真实性进行审批。通过数据订阅，实现全域数据拉通，数据可流动、可复用，积极释放数据价值。
第五，构建数据安全体系，为数据资产保驾护航。随着企业业务的快速发展，积累了大量包含客户账户等敏感信息的数据。为了保证生产业务安全稳定的运行，减少因数据破坏造成的经济损害，避免因数据泄露造成巨大的经济损失、社会影响，构建完善的数据安全体系、安全运维体系和安全技术体系。通过敏感数据发现识别、脱敏规则管理、免脱敏申请审批、安全日志审计、数据安全分析等能力，对敏感字段、敏感数据、敏感实体进行自动化监控与管理，实现可视化管控数据安全策略，支撑安全管控决策分析，从而达到数据“看不清、拿不走、不敢拿”的最终目标，满足企业对安全的合规要求。
第六，基于微服务平台的数据服务引擎提供统一的安全、高可用、弹性伸缩的数据服务能力。构建统一数据服务能力，实现数据中台的对外赋能，释放数据中台价值。提供便捷的数据服务开发与调试工具，通过可视化页面配置生成各类应用层数据实体的查询服务，并发布至微服务平台，供页面组装工具、分析专题、第三方应用等内外部系统调用，为“数据服务化”提供关键能力支撑。屏蔽数据服务化封装、数据同步等技术细节，大幅降低数据服务开发门槛，打通数据开放在线通道，缩短业务支撑响应时延；可基于微服务平台的数据服务引擎提供统一的安全、高可用、弹性伸缩的统一数据服务能力。
（3）升级批流一体化技术架构，提升数据储算能力
江苏移动通过实施批流一体化技术改造，构建“高效、实时、融合”实时数仓和实时事件处理中心，实现储算技术架构升级和业务边界拓展，实现事件共享订阅及高效处理，完成对低时延数据及服务的全方位支撑。
第一，以“Pulsar+Flink”为核心构建新的流处理平台，支撑海量实时数据的快速处理。实施批流一体化技术改造，实现储算技术架构升级和业务边界拓展，构建“高效、实时、融合”的实时数据仓库，完成对低时延数据及服务的全方位支撑。
以流原生技术，重构实时流处理平台，将原有“Kafka+JStorm”的平台架构升级为“Pulsar+Flink”的核心架构，使流处理平台具备“弹性扩展、多租户隔离、数据分层存储、数据在离线分析”等能力，全面提升信令等实时数据处理的及时性，保持数据新鲜度，发挥数据的最大价值。
第二，搭建实时数据仓库，建设实时数据资产。构建实时数据仓库，实现数据仓库的实时化转型，提升经分快报、日报数据实时性。通过Pulsar多I/O连接器能力，实现多渠道数据的快速接入，提升数据接入与变化感知效率；通过数据资产的实时加工，实现日报、快速数据实时加工，助力各级管理人员及时掌控业务发展情况，提升经营决策的及时性。
第三，依托实时数仓，改进数据服务，实现客户事件实时处理和应用。构建实时事件处理中心，实现事件共享订阅及高效处理，提升处理效率及事件复用度。通过事件消息化处理，实现事件发现从分钟级提升至秒级。同时，将事件发现能力封装，通过消息的订阅机制，对外实现事件服务。可以广泛运用到实时营销、欠费信控、流量提醒等场景。
（4）构建自动化运维能力，降低运维技术门槛和成本
首先，构建快速高效的统一任务调度中心，通过可视化调度配置，对周期任务提供周期调度能力，提供多种时间形式的调度策略，支持配置任务间的依赖关系，支持设置失败重试功能及任务优先级配置。
其次，建设统一运维中心，保障系统和应用程序的可扩展性，可用性，监视，恢复和可靠性。支持可视化的任务监控运维，查看任务最新执行情况、历史执行情况，进行任务的重做、强制成功、强制失败等操作。
（5）构建DataOps技术生态系统，提升端到端敏捷数据交付能力
第一，构建需求全流程管理工具，推动需求快速迭代交付。工具包括需求收集、需求分析、需求确认、需求变更等流程环节；推动需求快速迭代交付，进一步提升开发管理的精细化水平。
第二，构建完整、规范的数据资产体系，实现数据模型的标准化管理。针对业务角度，构建江苏移动资产分层体系，对数据资产进行组织和分类管理，区分基础资产、特征资产和应用资产，并实现资产可视化统一管控。内外部数据资产经过汇聚融合后，提取潜在的价值信息，剔除其中冗余、无用信息，并按用途归类，形成规整的、统一的、精炼的数据资产集，数据资产可长期保存，多次使用，有利于充分发挥数据的价值。通过联合运用打通底层数据源能力扩充、逐步建立和完善分类体系，丰富数据资产层建设、持续夯实能力基础，提供更精确的支撑的数据应用需求。
第三，构建海量数据的处理和分析工具，提供一站式可视化开发能力。通过提供海量、实时数据的处理、分析的能力，提供一站式的可视化开发管理界面，使数据开发人员快速完成海量数据获取、分析，专注于数据价值的挖掘和探索。
第四，构建两态协同开发，构建敏捷数据交付能力。在大数据开发与管理的整个数据开发过程中，需要对一个数据需求开发的全生命周期进行管控，期间需经过业务人员、开发人员、运维人员的多方协作，才能完成一个需求场景的分析、开发、审批、上线。
为了在保证数据开发的低门槛及便捷性的同时，又能够兼顾生产环境的稳定运行，把控数据需求开发的完成质量，需要有一套基于统一系统管理、资产管理、统一发布运维而建设的两态协同管理能力，将开发工作用到的数据、计算、调度资源与生产环境进行隔离，保障生产环境的数据安全及环境安全。
一网两态能力设计的核心思路主要包括：两态一体化部署、计算及调度的资源隔离、运维整合及流程串通，具体内容如下：
• 两态一体化部署：支持通过一套工具部署支撑平台的开发、生产两态环境，实现平台功能两态的一体化。
• 计算及调度的资源隔离：对两态的调度、计算资源进行物理隔离，从根本上保证了两态核心关键能力的独立性，根本上杜绝开发态变动对生产环境产生影响。
• 运维整合：在两态底层物理隔离实现的前提下，在对应的运维管理、事件日志、监控体系上进行整合，逻辑上实现用户在一个产品下进行管理，避免多点运维、频繁切换的问题
• 流程串通：发布中心衔接两态，支持基于两态的要素配置、打包、校验、发布等各流程环节的运转
第五，快速构建专业化数据应用，提升应用开发效率。为应对数据量爆炸式增长，数据决策需求日益增多等压力，打造敏捷高效的数据分析能力，通过建设大数据分析与可视化平台，融合多数据源管理、自助取数分析、图表分析报告设计、复杂式报表编制和数据大屏配置等多个数据分析工具为一体，实现一站式的自助型数据探索与分析，并通过零代码拖拽的可视化交互方式，降低创建数据应用的门槛，帮助企业高效快速地构建数据分析体系，满足多样化的数据分析与可视化呈现场景。
价值与效果
通过实施数据仓库技术架构演进，采用Hadoop+MPP架构替换存量商用数据库，江苏移动实现了核心数据库的国产化、自主化。通过打造数据集成工具，实现了多源数据的采集、汇聚，并通过部署企业数据湖，实现多源数据的入湖存储。
通过实施批流一体化架构改造，平台整体性能提升约35%，其中实时数据采集容量提升30%，计算能力提升50%；提升了数据模型的稳定性和灵活性，总体节约存储约20%。
依托DataOps一站式全链路工具支撑，通过构建数据可视化编排、一站式运维监控，自动化稽核、自动化发布等能力，实现端到端需求交付效率提升了20%。通过构建自动化运维平台，降低了运维技术门槛，实现了数据管道的可视化监控，提升了运维效率，降低了运维成本。
通过数据资产能力服务的建设和开放，既可支撑轻量级产品研发模式，提升研发效率，又可通过服务组合支撑跨行业产品融合型解决方案，高效支撑大数据项目。通过中台赋能对外大数据行业，服务旅游、交通、公安、金融、商贸等八大行业4000多家客户。
经验借鉴
在不断的数据资产管理实践过程中，江苏移动总结如下关键成功要素：
第一，不断完善资产管理体系和平台架构，实现大数据资产的统一建设、管理、运营、维护和支撑，促进数据资产的开放共享和价值变现。
第二，总结沉淀资产管理五步法方法论，通过专业化的大数据资产管理团队和运营流程，构建数据架构，进行数据治理、数据运营，达成数据共享、数据变现，驱动资产能力提升。
第三，针对不同类型、价值的资产，通过优化大数据平台异构数据处理和存储架构，提升资产处理效率，降低存储成本。
第四，以价值为导向，通过资产管理能力的提升，促进大数据资产价值变现，带动大数据业务价值裂变。
