大数跨境
0
0

Gartner权威推荐|AI大模型驱动下的智能数据治理 加快释放数据价值

Gartner权威推荐|AI大模型驱动下的智能数据治理  加快释放数据价值 数慧云脑
2024-08-01
2
导读:为推动数据资源流动和价值实现贡献数慧力量

在新一代信息技术的引领下,数据成为新生产要素,快速融入生产、分配、流通、消费和社会服务管理各环节,激发出一批新模式新业态,在驱动经济社会发展中的基础性作用日益凸显。有统计显示,2023年我国数据资源总规模达到32.9ZB,2017-2023年复合增长率为27.6%,是我国同时期GDP复合增长率的5倍有余。



对各行业中的企业来说,数字化转型也已成为提升竞争力、实现高质量发展的关键途径。然而,早期“堆系统”的方式虽然阶段性地提升了数字化水平,但随着系统与数据的逐渐堆积,数据来源多样、体量巨大、质量参差不齐、口径不统一、链路复杂、管理权责不清、成本高昂等问题逐渐浮现,数据孤岛、数据架构臃肿低效成为阻碍企业数字化转型进程的关键症结。


尤其是近年来以大模型为代表的AI技术突破式发展,让大家看到了行业大模型在赋能企业提质增效方面的巨大潜力。然而,在行业大模型落地的进程中,需要投喂大规模、多样化、高质量的行业数据来训练大模型,并时刻警惕可能存在的数据偏差对 AI 大模型的负面影响。在进入推理阶段后,大模型实际应用产生的数据处理需求更是急剧上升。业界甚至流传着有多少“人工”,就有多少“智能”的说法,没有数据革命的AI革命定将举步维艰。当前日益复杂的数据体系结构和爆炸性增长的数据应用需求,亟需一套新的数据治理架构来解局!全球权威IT咨询机构Gartner给出的答案是:数据编织(Data Fabric),其数次在年度重要战略技术趋势报告里,将数据编织列为十大技术趋势之一。如今,数据编织正在从概念、理念向业务场景演进,正在加速产品化和实战化。

数慧时空作为大数据领域的领先企业,以二十余载数据能力和业务场景积累为核心,以多模态基础大模型“长城”为支撑,围绕数据资源化、数据产品化、数据资产化、数据资本化等业务需求,基于数据编织、数据网格和AI大模型技术,打造了新一代智能数据治理平台DIIF。通过实现对多源异构数据的高效汇聚、质检、知识库创建和融合应用,支撑“随时随地要数据”“实时动态看分析”“快速准确出决策”等用数需求,助力充分释放数据价值,实现数据在大型机构内的统一纳管、充分共享、融合分析与应用,辅助企业优化资源分配、加强经营管理、指导战略规划、提升风险监管。



01
数据智能虚拟连接



只连不搬,实现快速、全面供数

数据,已经成为企业数字化转型的重要驱动因素。尤其是在当前的人工智能时代语境下,数据就像我们的呼吸一样源源不绝又无处不在。这些来自企业内外部的多源头数据、结构化、半结构化及非结构化的数据,实时的和批量化的数据,分散在不同系统、多云环境中的数据,让企业数据管理的环境变得越来越复杂。


数慧时空新一代智能数据治理平台DIIF引入数据编织技术,通过统一方法对任何地方、任何格式的数据建立逻辑统一的抽象层,屏蔽数据底层差异,无需复制原始数据即可实现各种异构数据的汇聚、融合与发布,达到“不搬数据”,而是“连接数据”的目的,实现快速、全面地供数,从而打破数据孤岛,显著提高数据需求响应效率。


01

连接多源数据,无需复制数据

02

可视化构建虚拟视图,动态调整视图结构


03

跨域联合计算,支持Geo关联计算


04

支持通过基础视图构建衍生视图



02
数据智能质控



知识驱动的自动化质检,保障数据质量和安全

DIIF通过建立统一的数据标准体系、检核规则体系,形成知识驱动的自动化质量检查体系,支持跨格式、跨系统、跨环境数据质量的交叉校验,实现数据项的名称、业务定义、统计规则、数据口径和责任部门的统一规范,助力提高AI/ML模型的质量和准确性。同时,通过集中管理和控制数据访问权限,保障数据安全。


01

质检规则管理

02

附件智能质检


01

空记录检查

02

逻辑关系检查



03
智能知识工程



主动元数据挖掘和数据资产目录智能生成,助力打造企业知识库

DIIF通过对各类文档、结构化、半结构化和非结构化数据的向量化加工和知识化处理,基于主动元数据技术,自动追踪数据血缘,帮助企业构建知识图谱,实现数据资产目录智能生成,最终形成企业智能知识库。通过统一识别、语义关联和高效检索多模态数据,DIIF为大模型应用提供丰富且实时的知识来源,提升数据资产共享和重用的效率。


01

分类打标,语义化知识图谱,理解数据

02

资产目录智能生成,资产清单一览无余


01

主动元数据,通过AI/ML辅助生成

02

数据血缘,上下游溯源与影响分析



04
智能融合应用



数据网格下的透明化自动编排,支撑数据自服务高效应用

DIIF通过数据网格,填补了复杂的多源异构数据与数据消费群体之间的鸿沟,不用高度依赖专业的数据工程师,即可按需获取相应数据和知识。透明化的数据处理管道,结合智能体技术,让数据消费者只需简单的对话输入,即可实现管道的智能搭建。而且,整个过程透明可见,可根据需求自由地对算子进行编排调整,融合后的数据通过统一的、标准化的API方式对外提供。


01

数据资源、算子资源、场景资源,全景浏览

02

自服务、透明化流程编排,实现数据集成和清洗


01

动态调参,实时调试,即算即得

02

数据以产品形式提供,服务接口自动生成



数字经济发展方兴未艾,数字中国建设前景可期。随着数据要素价值的不断释放,海量的数据资源将转化为创新发展的强大动力,助力新质生产力加快形成、高质量发展稳步向前。作为数据要素市场的积极参与者,数慧时空具有CMMI、DCMM等认证证书,以及数据产品提供商、数据产品开发商、数据治理服务商、数据资产质量评价服务商等资质认证。目前,DIIF已完成人与机器协同决策的大数据4.0全链路治理工具生态打造。未来,数慧时空将加快推进数据编织、知识图谱及大语言模型等先进技术的融合应用,持续提升数据要素市场全链路服务保障能力,以AI大模型驱动的数据治理助力千行百业客户实现从数据资源开发利用到数据资产价值变现的价值闭环,为推动数据资源流动和价值实现贡献数慧力量。

【声明】内容源于网络
0
0
数慧云脑
自然资源领域标准制定的参与者、数据质量的把关者、信息工程的承担者,多年来坚持新技术研发投入和行业业务研究,不断为自然资源“业务数据化、数据业务化”提供最佳实践。
内容 71
粉丝 0
数慧云脑 自然资源领域标准制定的参与者、数据质量的把关者、信息工程的承担者,多年来坚持新技术研发投入和行业业务研究,不断为自然资源“业务数据化、数据业务化”提供最佳实践。
总阅读21
粉丝0
内容71