大数跨境

Apache DolphinScheduler 4月简报:社区发展与技术革新速递

Apache DolphinScheduler 4月简报:社区发展与技术革新速递 海豚调度
2024-05-06
0
导读:这里将记录 DolphinScheduler 社区每月的重要更新,欢迎关注!

点击蓝字

关注我们

各位热爱 DolphinScheduler 的小伙伴们,4 月份的 DolphinScheduler 社区月报更新啦!这里将记录 DolphinScheduler 社区每月的重要更新,欢迎关注!


月度Merge之星


感谢以下小伙伴 4 月为 Apache DolphinScheduler 所做的精彩贡献(排名不分先后):

@alei1206,@caishunfeng,@qingwli,@sdhzwc,@ruanwenjun,@pegasas,@songwenyong,@privking,@zhongjiajie,@xinxingi,@Gallardot,@abzymeinsjtu,@DaqianLiao,@atjiucheng,@calvinjiang,@xxzuo,@pinkfloyds

apache/dolphinscheduler功能更新及优化

Fix

  • [FIX]修复无法恢复已停止实例的问题 @privking
  • [Hotfix]修复dsip名称 @ruanwenjun
  • [Fix-15866][Doc]更新淘宝npm镜像地址 @xxzuo
  • [Bug][Helm]修复 image.registry @Gallardot
  • [Bug]在初始化模式下,QUARTZ表的顺序不正确。 @ruanwenjun
  • [Fix-15706]SeaTunnel的优化 @xinxingi
  • [Fix-15787]重用代码,解决...中复杂SQL解析异常的问题。 @xinxingi
  • [Bug] [Common]修复common.properties中的拼写错误 @pegasas
  • [Fix]将cpuUsage拆分为systemCpuUsage和jvmCpuUsage。 @ruanwenjun
  • [Bug]修复依赖任务逻辑 @abzymeinsjtu

Improve

  • [Improvement-15919][datasource]优化数据源获取名称 @sdhzwc
  • [Improvement-15910][UI]假设在并行执行模式下,应为自定义并行度提供一个默认值。 @calvinjiang
  • [Improvement]修复警报代码异味 @qingwli
  • [Improvement][Audit]将时间改为创建时间 @qingwli
  • [Improvement][Api]删除无用的batchUpdateUdfFunc方法 @qingwli
  • [Improvement]将python-gateway的默认设置改为false。 @pinkfloyds
  • [Improvement]检查异常字符 @pinkfloyds
  • [Improve]修正ProcessServiceImpl中的拼写错误 @qingwli
  • [improvement-15760][datasource-plugin]修复SQL任务拆分错误#15760 @songwenyong
  • [Improvement]添加完整资源名称检查 @caishunfeng
  • [Improvement-15744][parameter]项目参数添加更新时间及更新用户ID @sdhzwc
  • [Improvement-15713][api]数据源和UDF函数的列表查询应使用枚举代码值,而不是顺序号。 @songwenyong
  • [Improvement][Spark]支持本地Spark集群 @pegasas

Others

  • [TEST]增加项目偏好的服务测试覆盖率 @abzymeinsjtu
  • [DSIP-34]将 required_approving_review_count 设置为 2 @ruanwenjun
  • 并发修复自动创建tennant可能会导致任务失败。 @ruanwenjun
  • 在Java任务中,jar路径不正确。 @ruanwenjun
  • [TEST]增加项目参数服务测试的覆盖率 @abzymeinsjtu
  • 使用workerNodeInfoWriteLock更新工作节点信息 @DaqianLiao
  • [DSIP-32][Master]为master拉取命令添加获取策略 @ruanwenjun
  • 修复 kill 动态任务不会终止等待运行的工作流实例 @ruanwenjun
  • [DSIP-31]减少Hikari连接池的大小 @ruanwenjun
  • 修复了queryByTypeAndJobId可能因返回结果过多而引发的错误。 @ruanwenjun
  • 重構記錄审计日志的邏輯 @qingwli
  • [DSIP-28]不要扫描classpath下的整个项目bean。 @ruanwenjun
  • 添加DSIP模版 @ruanwenjun
  • [TEST]增加日志服务的覆盖率 @abzymeinsjtu
  • 修复写入审计日志的错误会导致请求失败。 @ruanwenjun
  • 修复 JDBC 注册表无法工作。 @ruanwenjun
  • 将SSH心跳类型更改为.IGNORE @ruanwenjun
  • Apache SeaTunnel中,禁止在运行中的工作流实例中强制完成任务实例。 @ruanwenjun
  • 将进程ID绑定到CodeGenerator的构建过程中 @ruanwenjun
  • 修复ErrorCommand在Command中丢失了一些字段 @ruanwenjun
  • [TEST]增加环境服务的覆盖范围 @abzymeinsjtu
  • 移除未使用的咖啡因缓存 @ruanwenjun
  • 无法构建StreamingTaskTriggerResponse的实例。 @atjiucheng
  • [TEST]增加数据源服务的覆盖范围 @abzymeinsjtu
  • [TEST]预警插件实例服务的覆盖率增加 @abzymeinsjtu
  • 从dolphinscheduler-task-dataquality中移除dolphinscheduler-data-quality @ruanwenjun
  • 直接使用Quartz的API来初始化一个调度任务。 @ruanwenjun
  • [DSIP-24][RemoteLogging]支持 AbsRemoteLogHandler @pegasas
  • [Worker]修复了一个问题,即在停止远程shell任务时,不会意外杀死远端的子进程#15570 @alei1206
  • [DSIP-26][Audit log]审计日志改进设计 @qingwli

apache/dolphinscheduler-sdk-python更新与优化

  • 这个问题与Apache SeaTunnel的兼容性和最新版本有关。 @zhongjiajie
  • [ 这个问题是关于更新 setup-python 时遇到不支持的版本。在中文中,这可以表示为:"遇到 setup-python 不支持的旧版本,需要更新。" ]( https://github.com/apache/dolphinscheduler-sdk-python/pull/143 " 这个问题是关于更新 setup-python 时遇到不支持的版本。在中文中,这可以表示为:"遇到 setup-python 不支持的旧版本,需要更新。" ") @zhongjiajie

apache/dolphinscheduler-website更新与优化

Improve

  • [Improvement]添加建议使用的稳定版本 @xxzuo

< 🐬🐬 >
精彩推荐

用户实践案例
奇富科技  蜀海供应链 联通数科 拈花云科
蔚来汽车 长城汽车 集度 长安汽车
思科网讯 生鲜电商 联通医疗 联想
新网银行 消费金融  腾讯音乐 自如
有赞 伊利 当贝大数据
联想 传智教育 Bigo
通信行业  作业帮


迁移实践
Azkaban   Ooize   
Airflow (有赞案例) Air2phin(迁移工具)
Airflow迁移实践
Apache DolphinScheduler 3.0.0 升级到 3.1.8 教程


新手入门
选择Apache DolphinScheduler的10个理由
Apache DolphinScheduler 3.1.8 保姆级教程【安装、介绍、项目运用、邮箱预警设置】轻松拿捏!
Apache DolphinScheduler 如何实现自动化打包+单机/集群部署?
Apache DolphinScheduler-3.1.3 版本安装部署详细教程
Apache DolphinScheduler 在大数据环境中的应用与调优
< 🐬🐬 >
参与社区
参与Apache DolphinScheduler 社区有非常多的参与贡献的方式,包括:


贡献第一个PR(文档、代码) 我们也希望是简单的,第一个PR用于熟悉提交的流程和社区协作以及感受社区的友好度。

社区汇总了以下适合新手的问题列表:https://github.com/apache/dolphinscheduler/issues/5689

非新手问题列表:https://github.com/apache/dolphinscheduler/issues?
q=is%3Aopen+is%3Aissue+label%3A%22volunteer+wanted%22

参与社区贡献:https://dolphinscheduler.apache.org/zh-cn/community

来吧,DolphinScheduler开源社区需要您的参与,为中国开源崛起添砖加瓦吧,哪怕只是小小的一块瓦,汇聚起来的力量也是巨大的!


我知道你在看

【声明】内容源于网络
0
0
海豚调度
Apache DolphinScheduler是一个分布式、去中心化、易扩展的可视化DAG工作流任务调度系统,其致力于解决数据处理流程中错综复杂的依赖关系,使调度系统在数据处理流程中开箱即用。
内容 0
粉丝 0
海豚调度 Apache DolphinScheduler是一个分布式、去中心化、易扩展的可视化DAG工作流任务调度系统,其致力于解决数据处理流程中错综复杂的依赖关系,使调度系统在数据处理流程中开箱即用。
总阅读0
粉丝0
内容0