介绍
FineDataLink 4.1.11版本支持在库表管理中,从表维度查看上下游库表、相关的定时任务-节点、管道任务、API任务的数据血缘,同时提供直系血缘、旁系血缘的查看功能。
适用场景
在使用数据时,发现数据明显异常需要对问题进行排查。在前端报表使用过程中,可能会遇到数据空白、数据成倍变大等情况,这时候业务人员会联系报表开发/数据开发人员排查原因。
若如是通过手动查找,可能开发时间较长忘记了原始数据处理逻辑,一个个任务回溯耗费大量时间。
若使用的数据表是通过FineDataLink数据开发任务生成的,那么只需要通过定时任务作业,即可看到对应的数据血缘,去找到数据异常的原因,可以快速定位到数据表的问题,快速修复。
IT人员根据分析需求在数据库中对某个表增加或删除字段,此时源表的结构发生了变化,需要快速找到跟这个表相关的任务进行SQL语句的调整,否则会出现任务/数据出错的情况。
由于目前DDL通知的功能仅限在选表时使用,有时IT人员还是需要在大量的数据开发任务中手动查找,耗费大量精力,效率比较低。
FineDataLink 4.1.11新版本提供的数据血缘功能,可以直观地查看数据表和任务对应关系,帮助IT人员快速完成任务定位。
当进行多人协同开发或是任务交接时,刚接手开发的IT人员需要快速掌握项目中数据和任务的逻辑关系。如果让老IT手把手教,占用很多时间,影响工作进度;如果自己从头把数据表、ETL任务的逻辑重新梳理一遍,由于数据量大、任务繁多,效率也很低。
有了FineDataLink数据血缘,数据表和任务一目了然,新上手的开发人员可以在短时间内理清数据表与任务之间的逻辑,了解数据库表之间的上下游关系。
FDL血缘分析
1、新建一个数据同步任务,使用SQL语句关连两张数据表「PRODUCT」和「CONTRACT」,并发布至生产模式。
2、在「数据管理」下找到刚刚关联的数据表,例如「PRODUCT」,点击血缘分析,然后勾选旁系血缘,即可看到定时任务使用的数据表 SQL 语句血缘关系,FDL会展示出整个数据链路上所有相关的对象。
旁系血缘
4、点击数据同步或者其他任务节点,可以查看任务运行记录以及一键到达任务节点。(管道任务和数据服务同样适用)
传统的ETL工具,不支持通过数据血缘去进行问题排查和任务维护,现在通过FineDataLink可以清晰地看到数据开发过程中表的血缘关系,降低了运维成本,提高开发效率。
FineDataLink是一款集实时数据同步、ELT/ETL数据处理、数据服务和系统管理于一体的数据集成工具,可在Windows或Linux环境上单机/集群部署,全程基于B/S浏览器端进行任务开发和任务运维,更多精彩功能,邀您体验,希望能帮您解决企业中数据从任意终端到任意终端的处理和传输问题,让流动的数据更有价值!