【数据分析小兵】专注数据中台产品领域,包含数据资源管理、数据集成、数据建模、数据开发、数据服务、数据可视化、数据治理相关产品以及相关行业的技术方案的分享。对数据中台产品想要体验、做二次开发、关注方案资料、做技术交流的朋友们,可以关注我。记得帮小兵点赞、转发、在看支持三连哦!
作者按
当前企业面临多源异构数据难整合、建模人才成本高、需求响应迟滞、数据安全风险大等痛点,90% 数据价值未被挖掘。本文介绍的企业级数据可视化建模平台,涵盖七大核心模块,支持拖拽式建模与自定义算子,通过 “设计 - 发布 - 训练 - 上架” 全流程管控,既能降低建模门槛、提升开发效率,又能保障数据安全,助力企业挖掘数据价值、发现业务机会,实现数据驱动决策。
01
产品概述
- 价值黑洞:多源异构数据散落难整合,90%数据价值未被有效挖掘
- 人才困局:建模需复合型专家团队,人力成本超企业IT预算40%
- 响应迟滞:传统开发模式需求响应周期长达2-4周
- 安全雷区:权限体系缺失导致数据泄露风险提升300%
1.2 产品定位:
数据可视化建模平台面向多源异构的企业数据,为企业提供数据集成、数据管理、数据分析和价值挖掘的全面能力。平台包括我的工作台、数据仓库、算子工坊、模型工厂、模型训练室、应用市场和调度中心七个模块,专注于多来源、碎片化数据的高效集成、治理、分层分类管理和可视化拖拽式建模工具。
本次版本更新主要针对算子工坊和权限管理两个模块进行了升级,算子工坊增加了丰富的基础算子和组合算子,支持业务算子的自定义功能;权限管理部分,我们增加了对数据、模型、应用的权限管理功能。
-
提升企业数据价值:帮助企业更好地理解数据结构、提高数据质量,并支持更高效的数据分析和数据开发,提高数据的价值。 提高开发效率:实现可视化拖拽式模型设计功能,并内置丰富的算子库,极大降低建模工作门槛,提高建模效率。
发现新的业务机会:通过对现有业务数据和应用系统的挖掘,发现新的业务机会,为企业带来直接的商业价值。
-
实现数据驱动决策:数据可视化建模平台可以帮助企业提取有价值的信息并进行分析,并以可视化方式展现分析结果,支撑用户决策。
02
产品架构
2.1 功能架构
-
我的工作台:集中展示日常工作中常用到的功能,包括我的数据资源、我的模型和我的任务。 -
数据仓库:支持多源异构数据的适配与集成,可以对数据链接和内外部数据源进行配置管理。支持对数据进行分层分类管理和高效的数据治理,提供数据权限管理功能。 -
算子工坊:平台内置丰富的算子库,包括基础算子和业务算子,支持算子的自定义功能。 -
模型工厂:模型的设计和管理功能,支持模型的可视化拖拽式设计,包括模型的版本管理和发布等功能。 -
模型训练室:制定训练任务,对模型和应用进行训练,支持训练结果查看和训练反馈功能,只有通过训练的模型和应用才可以上架进入到应用市场。 -
应用超市:对已经上架的成熟模型和应用进行管理,支持模型和应用的上下架、执行和收藏等操作。 -
调度中心:管理模型和训练的任务,包括任务的新增、编辑、查看、删除、执行等,支持任务日志功能。
前端:用vue2做为主框架开发,使用ElementUI组件进行页面快速搭建,Echarts做为图形报表绘制,Mxgraph做为模型画布绘制。
网络协议:主要使用TCP协议,其中普通业务主要用Http请求做为短连接进行请求发起;模型、微应用的运行日志以及运行结果由Websocket做为长连接进行实时交互。
数据可视化建模平台适配结构化数据、文件数据、API接口、ETL等多类型数据源接入采集,并支持进行数据管理和治理。平台提供模型设计、发布、训练、上架全流程可视化的建模能力,对数据进行分析、挖掘,并输出报表、应用、API接口和中间库等格式的分析成果。
(1)文件、数据库、API等不同格式的外部数据源,通过数据集成功能采集到数据仓库;
(2)数仓中的数据按照数据权限分为私有数据、共享数据、公共数据,三类数据进入模型工厂进行模型的设计和训练;
(3)模型工厂输出可视化报表、应用、API服务、中间库等四种类型的结果。
(1)进入模型设计器,开始可视化模型设计,从数据仓库选择需要的业务数据,通过拖拽的方式添加至画布。
(2)从算子工坊选择对应的算子(基础算子、组合算子等),拖拽至画布,设计模型。
(3)完成模型设计后,需设置模型的版本并进行模型发布,只有发布的模型才可以进行发布应用操作。
(4)发布后的模型会进入模型训练室,制定训练任务进行模型训练。若该模型发布了应用,则也可以对应用进行训练。
(5)只有通过训练的模型和应用才可以进行上架操作,上架后的模型和应用进入应用市场,所有用户均可以查看和使用。
03
功能介绍
3.1 我的工作台
集中展示日常工作中常用到的功能,包括我的数据资源、我的模型、我的应用和我的任务。
-
我的数据资源:对权限范围内的数据进行管理,包括:公共数据、共享数据和我的私有数据。对于我的私有数据,可以进行数据的查询、预览、查看详情、编辑和共享操作;对于公共数据和共享数据,可以进行查询、预览、查看详情和下载操作。 -
我的模型:对权限范围内的模型进行集中展示,可直接进行模型的相关管理和设计工作。具体功能详见模型工厂章节。 -
我的任务:集中展示我的模型任务和训练任务,可直接进行任务的相关管理工作,具体功能详见调度中心章节。
-
数据集成:支持多种类型数据源适配,包括结构化、半结构化和非结构化等数据类型,包MYsql、Oracle、DB2、MogoDB、Hive等20+种数据源。 -
数据组织:对数据进行分层分类管理,支持数据表创建和维护,支持数据标签功能。 -
数据源配置:支持数据连接和内、外部数据源的配置管理。 -
我的数据资源:权限范围内的数据,以数据目录的形式进行展现,支持数据资源的查询、查看。
-
基础算子管理:平台预置丰富的基础算子,包括过滤、交集、并集、差集、分组统计、分组去重、转化类型等,基础算子仅支持查询和查看。 -
业务算子管理:支持自定义算子功能,可以通过该功能来设计业务算子。例如根据业务需求将多个基础算子组合,形成满足某一业务场景的组合算子。
我的模型:对权限范围内的模型进行管理,包括:我的模型、公共模型、共享模型、收藏的模型。其中我的模型可以进行模型的检索、查看、创建、删除、编辑、重命名、共享、执行、发布等操作;共享模型可以多人协作设计;公共模型和收藏的模型只支持查看、执行和复制。
可视化模型设计:支持拖拽式的模型可视化设计器,提供丰富的基础算子和业务算子、复制、移除、剪切等快捷操作按钮;调试执行:提供模型整体执行、单个执行、向后执行等多种调试方式,提供执行日志输出、执行结果数据查看功能。全局变量:提供模型关键参数的统一定义管理。
模型发布:完成设计的模型,可以设定版本号后进行发布,发布的模型会进入模型训练室进行训练。
应用发布:已发布的模型可以根据业务需求,选择部分节点发布成应用,平台预置可视化组件来实现应用的输出结果可视化。
-
训练任务管理:为模型和应用创建训练任务,设定模型和应用执行的方式(立即执行/定时执行)、执行次数、执行频率等参数,系统自动训练模型和应用。 -
训练结果:可以查看每次训练的结果信息,只有训练通过的模型和应用才能进行上架操作。 -
训练反馈:训练失败的任务需要给出反馈信息,提醒用户排查问题。 -
上下架管理:对模型和应用进行上下架操作,上架的模型和应用将进入应用市场,所有用户均可以使用。
-
任务管理:对模型任务和训练任务进行统一管理,支持任务的创建、查看、修改、删除、执行等功能。 -
任务日志:记录每一个任务的执行日志,支持查询和查看。
04
应用场景
4.1 统计分析报表
根据业务的统计需求,利用数据建模平台组织数据,生成数据分析报表,配合可视化组件,高效输出可视化报表,响应业务需求。
例如企业的财务部门需要按照业务部门、时间、业务线等不同的维度进行工资统计;互联网企业需要按访问量、转换率、回访比率等不同指标来统计运营情况;电商企业需要统计网站流量、会员指标、产品页转化率、加入购物车转化率等多维度指标数据,来分析自己的竞争力。这样的例子遍布各个行业,举不胜举,都可以通过数据可视化建模平台来快速响应。
4.2 业务数据开发场景
为业务系统的开发阶段提供数据服务,根据业务的数据需求,利用数据建模平台组织数据,并以API接口、中间库等形式将数据提供给业务系统开发人员,提高开发效率。
例如:智慧农业需要根据传感器采集的土壤、工期、水质等环境数据进行建模分析,帮助农户进一步优化种植。医疗行业可以通过对临床数据的建模分析,对患者进行更有前瞻性的治疗,提高治疗效果;金融行业可以对企业的信用数据、经营数据进行分析,评估企业还贷能力,提高贷款可靠性。
05
产品优势
丰富的算子库积累:内置丰富的基础算子和组合算子,支持算子自定义,帮助建模工作提效。
完善的权限管理功能:支持对数据、模型、应用等各种元素进行权限管理,确保数据安全。
支持二次开发,灵活扩展:数据可视化建模平台架构支持二次开发,可按照业务需求进行灵活扩展。
部署灵活、快速交付:根据项目规模灵活选择项目方案,单机版或集群版;支持容器化高效部署,零基础半小时轻松完成全套产品部署,快速上线。
1.关注公众号即可免费获得118份资料大礼包下载:公众号后台发送关键字“关注福利”,即可免费下载。包含数据中台、数字化转型、数据资产、数据要素等各类方案和报告。
2.想要免费获取其他更多材料,欢迎扫描下方二维码添加群主微信,由群主拉入资料免费分享群,群内每日免费发布最新下载材料,同时群主也会定期汇总并免费分享材料。


自研产品
免责声明
本文引用的参考文献搜集于互联网,非原创,如有侵权请联系小编删除!请勿将该文章用于任何商业用途,仅供学习参考,违者后果自负!


