大数跨境
首页
>
「产品更新」数据源新增适配MaxComputer、文件输出，支持任务复制、超时失败重跑等
>
0
0

「产品更新」数据源新增适配MaxComputer、文件输出，支持任务复制、超时失败重跑等

「产品更新」数据源新增适配MaxComputer、文件输出，支持任务复制、超时失败重跑等 FineDataLink
2023-07-18
0
导读：产品更新，邀您体验！
一、新增数据源

1、MaxCompute
MaxCompute 是一种快速、完全托管的 TB/PB 级数据仓库解决方案，常作为企业的数据仓库。
为了使得MaxCompute中数据发挥更大的价值，此次适配使得MaxCompute能快速便捷连接外部SaaS应用、通讯工具等，完成业务数据的集成、传输。

MaxCompute架构图

基于MaxCompute进行数据开发

MaxCompute数据连接


2、文件输出

Excel/CSV等文件数据，在ETL/ELT场景中多作为数据源输入，但部分场景下需要作为输出，将数仓、数据库的数据到导出为文件（本地服务器或者是指定FTP/SFTP服务器上）。

文件输出这一功能，使得来自于任一数据源（数据库、API、SaaS应用等）的数据直接或者是经过处理后，输出到Excel/CSV。
常见场景：

① 数据定时、批量以文件形式存档

② 系统数据维护，将其他系统的数据导出，再通过excel导入更加方便

③ 需要将加工好的数据（甚至是大数据量）通过文件形式分享给业务人员使用、分析

④ 系统数据交换，强制需要以文件形式下发数据给其他业务系统使用

文件输出配置


二、任务管理

1、定时任务&API支持复制

在ETL/ELT任务开发过程中，经常会遇到任务相似性极高的情况，为了方便进行快速配置，此次更新支持用户自行进行任务复制。

常见场景：

① 任务流程相似度高，通过复制任务更改部分配置项即可使用
② 管理员建立标准模板，普通开发人员复用标准模板

数据开发-任务复制

API数据服务-任务复制


2、任务支持超时限制、失败重跑

因为网络原因（网络原因导致的临时数据连接中断、配置库连接中断等）而导致的中断任务，任务可设置自动重跑和超时限制，减少因为网络原因而导致的人工检查工作量。

数据开发-超时限制、失败重试配置项

数据管道-失败重试配置项


所有更新详情


FineDataLink是一款集实时数据同步、ELT/ETL数据处理、数据服务和系统管理于一体的数据集成工具，可在Windows或Linux环境上部署，全程基于B/S浏览器端进行任务开发和任务运维，更多精彩功能，邀您体验，希望能帮您解决企业中数据从任意终端到任意终端的处理和传输问题。

所有数据源对接分类
  • 关系型数据库：MySQL、Oracle、SQL Server、PostgreSQL、SQLite、HSQL、IBM DB2、Informix
  • 大数据类：SAP HANA、Hadoop Hive、Impala、ClickHouse、Presto、GreenPlum、GreenPlum（并行装载）、HP Vertica、Doris、StarRocks、MaxCompute
  • 国产数据库：达梦、人大金仓Kingbase、GaussDB 200、Gbase 8A、星环
  • NoSQL：MongoDB
  • 消息队列：Kafka
  • 文件类数据源：FTP/SFTP文件服务器、Excel、CSV
  • 接口类型：API、简道云、SAP RFC、WebService
  • 其他：服务器数据集等

【声明】内容源于网络
0
0
FineDataLink
FineDataLink，“快速、高效、易用”的企业级一站式数据集成平台。
内容 13
粉丝 0
FineDataLink FineDataLink，“快速、高效、易用”的企业级一站式数据集成平台。
总阅读10
粉丝0
内容13