大数跨境
0
0

「4.1.5更新」数据源新增支持SeaboxMPP和Sybase ASE、定时任务DDL感知、加解密函数扩充、最佳实践上新!

「4.1.5更新」数据源新增支持SeaboxMPP和Sybase ASE、定时任务DDL感知、加解密函数扩充、最佳实践上新! FineDataLink
2024-03-15
0
导读:4.1.5 版本更新
数据源

1、支持SeaboxMPP的定时任务读写和管道任务写入

海盒通用数据库SeaboxSQL是一款拥有完全自主知识产权的企业级关系型数据库,在性能、高可用性、安全性及易用性方面均有突出优势,同时提供针对数据分析场景的列存储引擎与向量执行引擎,极大提升在OLAP领域的适用范围。
4.1.5版本开始,数据管道写入端、和数据开发读写新增支持SeaboxMPP数据库,用户可以通过管道任务实时将业务中的数据同步到SeaboxMPP,然后进行ETL数据开发,从而满足企业对更高时效性数据需求。

SeaboxMPP数据连接配置
💠详情:配置SeaboxMPP数据源

2、定时任务Sybase ASE 对接取数

从4.1.5版本开始,数据源新增提供Sybase ASE数据连接,对Sybase ASE的数据进行定时同步、转换,以更快、更便捷的方式应用到后续的分析过程中。

基于Sybase ASE进行数据开发
💠详情:配置SAP Sybase ASE数据源

3、定时和管道自动建表同步字段注释

数据库的表和字段的注释是一种文档化的方式,用于提供关于数据库结构的额外信息和说明,方便开发人员轻松理解和调试数据库查询和代码。

从4.1.5版本开始,FDL在数据开发、数据管道以及数据服务的配置界面,支持设置表备注和字段注释。

数据开发表/字段注释

数据管道/字段注释


数据服务表注释

💠详情:数据同步-数据去向与映射 、配置管道任务-表字段映射


数据开发

1、定时任务支持DDL同步 & 字段变更感知应用

当数据库的表结构发生更改时(例如表的添加、删除、修改字段等),若无法感知数据的DDL同步,可能导致源数据库和目标数据库之间的结构不一致,从而影响数据的一致性。

为了保证数据的一致性和完整性,在4.1.5版本中,FDL在数据同步中,若源端发生DDL时,目标端可以感知DDL变更做出提醒,及时介入进行处理,根据实际需要进行调整。

  • 感知的源表结构变化:源表新增字段、源表删除字段、源表重命名字段、源表修改字段类型或长度。

源表结构变化检测

感知提醒


更新字段映射

💠详情:定时任务DDL同步


2、新增编码、加密、解密函数

加解密函数是信息安全的重要组成部分,在数据开发过程中的应用也比较常见,例如对原始信息进行加密,生成签名等过程。从4.1.5版本开始,FDL新增支持了以下编码、加密、解密以及签名函数:
  • 编码函数:hex、unhex、unbase64、encode、decode

  • 加密函数:AES、DES、SM2、SM4

  • 解密函数:AES、DES、RSA、SM2、SM4

  • 签名函数:SM3、SM2

💠详情(包含历史支持和新增支持函数):SparkSQL编码、加密、解密函数

3、新增文件传输功能

部分企业有部分文件数据以附件的形式,存储在云上系统、API接口或者专门的FTP/SFTP环境下,出于数据留档保存和管理的需要,希望将这些文件进行归档确保在需要的时候可供检索。
在4.1.5版本中,FDL新增提供文件传输功能,通过可视化的方式读取文件/文件夹,进行文件的归档、备份。

文件传输支持的来源和去向

文件传输配置

💠详情:文件传输功能说明

4、简道云字段写入优化

① 简道云输出字段适配新增:
复选框组、下拉复选框、地址、定位、图片、附件、成员多选、部门多选
crm套件表单
原有支持字段类型:
  • 基础字段:单行文本、多行文本、数字、日期时间、单选按钮组、下拉框
  • 增强字段:子表单、手机
  • 部门成员字段:成员单选、部门单选
② 支持简道云独享版的SSL证书配置,简道云数据连接支持上传ssl证书

💠详情:简道云输出 

最佳实践合集

1、按日期分表,每天保存当天数据

API 接口中每天有 20 多万的数据,若落库到同一张表中,随着时间该表数据不断累积,可能造成查询慢的问题。

希望能按日期分表,每天创建一个新的数据表,保存该天数据。

解决方案:通过FDL根据日期,动态创建表名写入数据

动态建表

表数据展示

2、使用FDL接口形式实现阿里云服务器数据监听

阿里云、亚马逊云、微软云等都提供了云上服务器环境,云上环境可以进行弹性伸缩使得资源按需分配,灵活调整服务器规模,提高效率,以及较低的管理成本,部分用户选择云上环境作为自己的服务器。

为了更方便感知服务器性能情况,希望将其环境数据同步到数据库,提供单独的看板监控;以及遇到异常情况,通过企业微信的方式推送到对应管理员。

解决方案:通过FDL提供更简便安全的方式对服务器运行情况进行数据监控。

服务器运行情况监控提醒


API数据获取

除此之外,还有一些其他场景:基于旺店通和手工Excel的电商场景销售分析基于EAS、OA系统的财务收入核算场景等,欢迎大家直接登录Demo平台进行查看。

💠 产品更新详情:4.1.5更新日志

FineDataLink是一款集实时数据同步、ELT/ETL数据处理、数据服务和系统管理于一体的数据集成工具,可在Windows或Linux环境上单机/集群部署,全程基于B/S浏览器端进行任务开发和任务运维,更多精彩功能,邀您体验,希望能帮您解决企业中数据从任意终端到任意终端的处理和传输问题,让流动的数据更有价值。

【声明】内容源于网络
0
0
FineDataLink
FineDataLink,“快速、高效、易用”的企业级一站式数据集成平台。
内容 13
粉丝 0
FineDataLink FineDataLink,“快速、高效、易用”的企业级一站式数据集成平台。
总阅读2
粉丝0
内容13