大数跨境
0
0

可视化ETL有多好用,亿信ABI告诉你

可视化ETL有多好用,亿信ABI告诉你 亿信华辰
2020-03-02
2
导读:推荐一款配有强大数据管理和可视化ETL的BI工具


ETL,用来描述将数据从来源端经过抽取、转换、加载至目的端的过程。ETL是BI项目中重要的一个环节,用户从数据源抽取出所需的数据,经过数据清洗,最终按照预先定义好的数据模型,将数据加载到数据仓库中去,为后续的数据分析提供数据支撑。

举个例子,某电商公司分析人员根据订单数据进行用户特征分析。这时需要基于订单数据,计算一些相应的分析指标,如每个用户的消费频次,销售额最大的单品,用户复购时间间隔等。这些指标都要通过计算转换得到,这时候ETL的作用就显现出来了。

市面上大多BI工具都不含ETL功能,在进行上述项目时,通常会用到BI、ETL两个工具,成本高、花费时间长。而亿信ABI基于这个需求,依赖十余年数仓经验,推出可视化ETL功能,通过简单的拖拽就可以完成ETL过程。
亿信ABI-拖拽完成ETL过程
以下,我们将从亿信ABI中ETL功能的核心优势与应用场景入手,带你了解如何高效实现数据抽取、转化、清洗过程。

核心优势

程序设计人性化,操作更易用

一般情况下,ETL过程设计需要用到大量的代码,且重复利用率较低。亿信ABI中的ETL功能充分结合大量项目人员实施习惯,操作敏捷易用,可快速地建立起ETL过程,提高效率,降低实施难度。亿信ABI有着更友好易用的数据处理体验:
  • 数据处理支持批量创建,ETL定义支持数据抽样;

  • 开发过程支持多人协同定义,共享资料库,使得数据处理过程更高效;

  • 系统内部封装大量清洗转换规则,极大程度的降低技术门槛,只需简单的拖拽配置,即可玩转数据处理;


丰富的数据处理组件

亿信ABI中的ETL组件丰富多样,面向数据分析师精心打造,满足各种各样的数据处理场景。一般情况下,一个简单的数据处理需求,前期在技术人员这里可能徘徊2到3天,更何况还有后期的修改。有了丰富的可视化ETL组件,复用率高,屏蔽复杂的编码任务,操作简单,数据处理更高效。

亿信ABI中内置组件包括:输入输出组件、转换组件、流程组件、统计组件、数仓组件、脚本组件、大数据组件等。

以转换组件里面的清洗组件为例,清洗组件支持记录级清洗和字段级清洗,内置50多种规则,支持在一个组件中完成多次清洗转换设置。支持清洗前后结果预览。

灵活的调度任务


一般情况下,ETL过程都会伴随着调度任务的设置。比如,某销售部门需要每周五抽取数据计算当周销售利润用于汇报,如果利用ETL实现,时间调度管理必不可少。亿信ABI的ETL调度导向,深度考虑各使用场景,用户只需简单操作,即可实现复杂的调度任务。


  • 支持基于时间或事件的调度机制,如:任意事件周期、文件到达、脚本事件等;

  • 调度设置支持crontab表达式;

  • 调度设置能指定到月份、星期、日期、小时、分钟的粒度;

  • 支持设置调度的时间窗口,重调时间间隔等;


隔离设计,应用更稳定

为保证运行环境的稳定可靠,提供了设计区与运行区隔离的机制,所有作业的修订和更改通过在设计区完成调试和试运行后,通过发布机制,发布到稳定的运行环境,保证开发和运行两不耽误。

场景应用


通过数据清洗加工获取目标数据


场景说明:需要根据已知的基础工资和奖金数据,导出实际工资数据。

步骤一:抽取
拖拽表输入组件到设计面板,从SCOTT数据库抽取EMP表,并可以预览数据。

步骤二:转换
拖拽清洗组件,并把奖金字段的NULL值替换成0,具体操作如图。        

增加表达式组件,增加工资字段=基础工资+奖金。定义字段为浮点型,字段长度7,精度2。       

步骤三:加载
拖拽表输出组件,加载到LE_TE数据库,新建EMP表,还可以预览最终数据。

以上通过亿信ABI,完成了简单的拖拽式ETL过程。

串联ETL过程

场景说明:抽取到最新的学生信息、成绩信息、课程信息,计算学生总成绩并实现每日数据抽取。

步骤一:制作ETL过程流,拉取学生信息、考试成绩信息、课程信息。

步骤二:通过贴源抽取到最新的学生信息、成绩信息和课程信息,计算学生总成绩。

步骤三:设置调度任务,定时执行ETL过程流。这样,一个串行的ETL过程就完成了。

小结:亿信ABI除了高效的数据处理能力,还拥有智能分析引擎、高扩展性、高集成性等亮点功能,在数据填报、数据处理、大屏可视化、自助分析、预测挖掘等场景的的应用效果也首屈一指。欢迎持续关注,了解更多功能特性。

附:3月3号(周二)下午3:00,亿信BI高级售前经理-谢程亲授《亿信ABI系列课程-ETL数据处理整合》,点击下方海报,马上报名。



—— / END / ——

「 在看的,麻烦点一下再走~ 」


【声明】内容源于网络
0
0
亿信华辰
领先的数据分析和数据治理软件厂商 | 中国数据治理解决方案市场第一 | 数据资产管理标杆厂商 | Data Agent | 数据中台
内容 886
粉丝 0
亿信华辰 领先的数据分析和数据治理软件厂商 | 中国数据治理解决方案市场第一 | 数据资产管理标杆厂商 | Data Agent | 数据中台
总阅读1.7k
粉丝0
内容886