大数跨境
首页
>
Apache DolphinScheduler 2.0.3 发布，支持钉钉告警签名校验，数据源可从多个会话获取链接
>

Apache DolphinScheduler 2.0.3 发布，支持钉钉告警签名校验，数据源可从多个会话获取链接

Apache DolphinScheduler 2.0.3 发布，支持钉钉告警签名校验，数据源可从多个会话获取链接 海豚调度
2022-01-27
1
导读：新的版本有哪些令人期待的新功能呢？

点击上方 蓝字关注我们






今天，Apache DolphinScheduler 宣布 2.0.3 版本正式发布。本版本支持钉钉告警签名校验，以及数据源从多个会话获取链接。此外，2.0.3 还对缓存管理、补数时间、日志中的数据源密码显示等进行优化，并修复了若干关键Bug。

功能增强



01

钉钉告警支持加签名校验



2.0.3 支持通过签名校验实现钉钉机器人报警的功能。


钉钉的参数配置

    • Webhook

>格式如下：https://oapi.dingtalk.com/robot/send?access_token=XXXXXX

    • Keyword

> 安全设置的自定义关键词

    • Secret

> 安全设置的加签

自定义机器人发送消息时，可以通过手机号码指定“被@人列表”。在“被@人列表”中的人员收到该消息时，会有@消息提醒。设置为免打扰模式，会话仍然会有通知提醒，在首屏出现“有人@你”提示。

    • @Mobiles

> 被@人的手机号

    • @UserIds

> 被@人的用户userid

    • @All

> 是否@所有人

详情参考：https://open.dingtalk.com/document/robots/customize-robot-security-settings


02

支持数据源从多个会话获取链接
此前，使用 JdbcDataSourceProvider.createOneSessionJdbcDataSource() 方法hive/impala 创建连接池设置了 MaximumPoolSize=1，但是调度任务中，如果 hive/impala 多任务同时运行，会出现 getConnection=null 的情况，SqlTask.prepareStatementAndBind() 方法会抛出空指针异常。

2.0.3 优化了这一点，支持数据源从多个会话获取链接。


优化

01

引入缓存管理，减少 Master 调度过程中的 DB 查询次数
由于主服务器调度进程，中会出现大量的数据库读操作，如 tenant、user、processDefinition 等，这一方面会给 DB 带来巨大压力，另一方面会减慢整个核心调度过程。

考虑到这部分业务数据是多读少写的场景，2.0.3 引入了缓存模块，主要作用于 Master 节点，将业务数据如租户、工作流定义等进行缓存，降低数据库查询压力，加快核心调度进程，详情可查看官网文档：https://dolphinscheduler.apache.org/en-us/docs/latest/user_doc/architecture/cache.html


02

补数时间区间从 “左闭右开” 改为 “左闭右闭”




此前，补数时间为“左闭右开”(startDate <= N < endDate)，不利于用户理解。优化之后，部署时间区间改为“左闭右闭”。

补数案例：https://dolphinscheduler.apache.org/en-us/docs/latest/user_doc/guide/project/workflow-definition.html


03

对日志中的数据源密码进行加密显示
数据源中的密码进行加密，加强隐私保护。

Bug 修复



  • zkRoot 配置不起作用

  • 修复修改管理员账号的用户信息引起的错误

  • 增加删除工作流定义同时删除工作流实例

  • UDF 编辑文件夹对话框不能取消

  • 修复因为 netty 通讯没有失败重试，worker 和 master 通讯失败，导致工作流一直运行中的问题

  • 删除运行中的工作流，Master 会一直打印失败日志

  • 修复环境变量中选择 workerGroup 的问题

  • 修复依赖任务中告警设置不起作用的问题

  • 工作流历史版本查询信息出错

  • 解决高并发下任务日志输出影响性能的问题

  • sub_process 节点的全局参数未传递给关联的工作流任务

  • K8S 上 Master 任务登录时，查询日志无法显示内容

  • 进程定义列表中存在重复进程

  • 当流程实例 FailureStrategy.END 时任务失败，流程实例一直在运行

  • t_ds_resources 表中的“is_directory”字段在 PostgreSQL 数据库中出现类型错误

  • 修复 Oracle 的 JDBC 连接

  • Dag 中有禁止节点时，执行流程异常

  • querySimpleList 返回错误的项目代码 


Release Note:https://github.com/apache/dolphinscheduler/releases/tag/2.0.3

下载地址：https://dolphinscheduler.apache.org/en-us/download/download.html


感谢贡献者



感谢社区 Contributor 对本版本的积极贡献！以下为 Contributor 名单，排名不分先后：




加入我们



随着国内开源的迅猛崛起，Apache DolphinScheduler 社区迎来蓬勃发展，为了做更好用、易用的调度，真诚欢迎热爱开源的伙伴加入到开源社区中来，为中国开源崛起献上一份自己的力量，让本土开源走向全球。


参与 DolphinScheduler 社区有非常多的参与贡献的方式，包括：


贡献第一个PR(文档、代码) 我们也希望是简单的，第一个PR用于熟悉提交的流程和社区协作以及感受社区的友好度。


社区汇总了以下适合新手的问题列表：https://github.com/apache/dolphinscheduler/issues/5689


非新手问题列表：https://github.com/apache/dolphinscheduler/issues?q=is%3Aopen+is%3Aissue+label%3A%22volunteer+wanted%22


如何参与贡献链接：https://dolphinscheduler.apache.org/zh-cn/docs/development/contribute.html


来吧，DolphinScheduler开源社区需要您的参与，为中国开源崛起添砖加瓦吧，哪怕只是小小的一块瓦，汇聚起来的力量也是巨大的。


参与开源可以近距离与各路高手切磋，迅速提升自己的技能，如果您想参与贡献，我们有个贡献者种子孵化群，可以添加社区小助手

微信(Leonard-ds) 手把手教会您( 贡献者不分水平高低，有问必答，关键是有一颗愿意贡献的心 )。添加小助手微信时请说明想参与贡献。


来吧，开源社区非常期待您的参与。


社区官网
https://dolphinscheduler.apache.org/

代码仓地址https://github.com/apache/dolphinscheduler


您的 Star，是 Apache DolphinScheduler 为爱发电的动力❤️ ～


投稿请添加社区小助手微信

(Leonard-ds)






☞Apache DolphinScheduler Hive、Spark、MySQL、Oracle 等数据源配置

☞数据迁移 | Apache Dolphinscheduler 调度 DataX 从 MySQL 全量导入 Hive

☞SeaTunnel 官宣进入 Apache 孵化项目首秀 Meetup

☞看看又是谁在悄悄做贡献？

☞感谢有你！所有贡献者来领礼物了

☞一文给你整明白多租户在 Apache DolphinScheduler 中的作用

☞开源并不是大牛的专属，普通人也能有属于自己的一亩三分地

☞在 Apache  DolphinScheduler 上调试 LDAP 登录，亲测有效！

☞4 亿用户，7W+ 作业调度难题，Bigo 基于 Apache DolphinScheduler 巧化解



点击阅读原文，加入开源！





点个在看你最好看

【声明】内容源于网络
0
0
海豚调度
Apache DolphinScheduler是一个分布式、去中心化、易扩展的可视化DAG工作流任务调度系统，其致力于解决数据处理流程中错综复杂的依赖关系，使调度系统在数据处理流程中开箱即用。
内容 667
粉丝 0
海豚调度 Apache DolphinScheduler是一个分布式、去中心化、易扩展的可视化DAG工作流任务调度系统，其致力于解决数据处理流程中错综复杂的依赖关系，使调度系统在数据处理流程中开箱即用。
总阅读167
粉丝0
内容667