2024年，数字经济进入新阶段，AI正走向前所未有的繁荣，数据作为关键生产要素的价值日益凸显，“AI+企业数据”的应用席卷全球，正在重塑企业发展模式，成为企业未来发展的核心竞争力。
6月25日，数巅科技2024智领未来线上峰会暨新品发布会隆重召开，数巅科技发布了端到端的企业大模型解决方案以及生成式智能分析AskBI。数巅科技技术工程副总裁江进对企业大模型解决方案的核心模块X-Engine做了深度分享，以下是他的演讲实录（文末获取直播干货）。
业界涌现出诸多大语言模型，大语言模型与企业数据结合产生的应用已屡见不鲜，但如何高效、精准地将企业数据与大语言模型相融合，依然颇具挑战性：
企业知识难以融入：实时经营管理数据、内部私有数据等难以用于大模型能力训练。
数据资产不统一：存在质量参差、收集目的不同、非标准化、非结构化、互相隔离等问题。数据存储在不同的数据库和计算引擎中，读取的方式各不相同，缺乏统一的大模型读取接口。
数据口径不统一：存在大量同名不同义、同义不同名、口径不清晰、命名难理解、逻辑不准确、数据难追溯的问题。
我们认为智能数据虚拟化技术是解决这一挑战的关键：
统一：将异构数据源虚拟化，沉淀统一语义的数据资产。
自动：根据业务语义实现资产即刻自动扩充，驱动自动化工具。
高效：智能加速实现数量级的性能提升，大幅节省计算和存储空间。
面向大模型的下一代数据虚拟化
引擎：X-Engine
为此，数巅科技自主研发了面向大模型的下一代数据虚拟化引擎X-Engine，其关键能力包括：
全面虚拟化引擎：解耦数据资产与物理实现，在此基础上构建流批一体、全时指标以及数据权限自动化管理能力。
资产定义即服务：可统一资产语义、自动去重、跟踪血缘、避免二义性，根据业务语义实现资产自动生成及扩充，随用随算。
高性能多模实时存储：完全自主研发的业界领先的存储系统，可提升读写的复杂度和速度，性能达业界同类产品的5-10倍。
X-Engine的核心功能
多源数据接入管理
一键接入各种数据源，多种主流数据源可管理：支持Flink、Hive、Hologres、kafka、MySQL、Oracle等。
各种数据统一管理：支持离线和实时数据源统一管理与建模。
流批一体
使用简单：流数据和批数据都可以使用虚拟表的概念进行访问，降低开发复杂度，逻辑统一。
灵活配置：支持使用SQL统一处理流和批的计算加工过程，支持灵活的过滤、聚合、关联操作。
计算高效：依靠高速存储和计算引擎，实现更加高效的计算和更高的系统吞吐。
处理实时数据的团队和处理离线数据的团队往往隶属于不同的团队，对于同样一个业务逻辑，一个实时指标和一个离线指标通常是需要在两个不同团队间实现的。如果这个时候需要修改逻辑，就需要在不同的地方进行修改，这就造成了逻辑不统一的情况出现，带来了计算口径不一致的问题。
通过流批一体的虚拟表，把流表和批表统一在同一个虚拟表的逻辑下面，就可以实现逻辑的统一，并降低开发难度。
大模型友好的指标建模
X-Engine指标建模按照维度列、度量列、时间列的方式来划分和定义，更容易被大模型理解，同时也占用更少的存储空间。同时对于指标增加了比例，指标组等标签，更好地为大模型服务。
灵活添加指标度量和指标维度，无需预计算。
数据资产管理
一站式：了解所有数据资产在哪里、有什么、是什么。
字段级血缘：从数据入口到数据出口全打通全路径。
X-Engine高性能背后的黑科技
智能物化
物化是对逻辑建模进行加速的过程，智能物化技术是虚拟化引擎必要的技术。如果没有物化使用支持，对于虚拟表的访问将直接打到原始数据层上面，与现有系统相比，毫无疑问会导致性能的回退。
我们会根据用户访问的pattern和自然血缘来决定哪些字段要被物化。对于虚拟表的访问，尽可能会转化成对物化视图的访问。通过虚拟表和智能物化技术，我们可以在不降低现有系统性能的情况下，减少现有系统中大量重复的计算和存储。
高速的行列混存
自研的行列混存系统，根据用户数据和场景选择行存或者列存来存储。
同时支持分布式大数据量的离线查询，以及低延迟高并发的在线查询。
独创的专利技术，相比同类产品能够提高3-10倍的存储和并发。
数据虚拟化引擎X-Engine解决了大数据和人工智能领域的基础软件核心难题，其核心“多模态实时存储虚拟化引擎”完全由数巅科技自主研发，从底层存储到上层应用的核心代码也全部自研，部分领域达到了国际领先水平，解决了大数据计算存储领域的卡脖子问题，能够确保国内用户使用的安全、自主可控。
看回放 下讲义 试产品
联系我们
400 960 9889
market@dipeak.com
www.dipeak.com
关于我们
数巅科技成立于2022年，是业界领先的企业大模型数据智能产品提供商，致力于打造数据虚拟化引擎驱动的企业专有大模型和相关企业智能应用产品，辅助企业数字化升级，提升企业数智化决策能力。
目前，数巅科技已经构建了数据虚拟化引擎X-Engine以及企业智能体搭建平台AskBot，并陆续推出了生成式智能分析AskBI、生成式智能知识库AskDoc等产品，助力企业整合数据资产，洞察业务规律，实现智能决策。
数巅科技拥有一支强大的技术团队，核心员工来自于阿里、腾讯、谷歌、微软等全球知名企业。公司在北京、上海、深圳、杭州、成都、武汉等地拥有分公司，广泛服务于泛金融、国央企和新经济等行业客户。