大数跨境

社区6月月报 | Apache DolphinScheduler重要修复和优化记录

社区6月月报 | Apache DolphinScheduler重要修复和优化记录 海豚调度
2024-07-08
2
导读:各位热爱Apache DolphinScheduler的小伙伴们,社区6月月报更新啦!

点击蓝字,关注我们

各位热爱Apache DolphinScheduler的小伙伴们,社区6月月报更新啦!这里将记录Apache DolphinScheduler社区每月的重要更新,欢迎关注。



01


月度Merge Star


感谢以下小伙伴上个月为Apache DolphinScheduler所做的精彩贡献(排名不分先后):

@tinglink,@Gallardot,@caicancai,@wangxj3,@zhuxt2015,@lanxing2,@SbloodyS,@ruanwenjun,@caishunfeng,@pegasas



02


apache/dolphinscheduler仓库

Fix

  • [Fix-16211]移除buildJarCommand中的ExecutePath,以修复Jar模式下的Java任务(#16238) @ruanwenjun
  • [Fix-16211]移除buildJarCommand中的ExecutePath,以解决Jar模式下的Java任务问题。 @lanxing2
  • [Fix-16228]修复端到端健康检查URL不正确。 @ruanwenjun
  • [Fix-16222]修复worker过载会导致任务失败。 @ruanwenjun
  • [Fix-16222]修复 worker 过载问题会导致任务失败。 @ruanwenjun
  • [Fix-16224]在文件E2E案例中添加Shell脚本 @ruanwenjun
  • [Fix-16174]安装指南不正确。 @SbloodyS
  • [Fix-16191]修复任务不能使用工作流的环境。 @ruanwenjun
  • [Fix]修正拼写错误:tpc -> tcp @caicancai
  • [Bug]修复条件任务会导致工作流实例失败。 @ruanwenjun
  • [Fix]任务:修正拼写错误 @Gallardot
  • [Fix-16063]在升级到v3.2.1版本后,修复管理员登录租户未指定的问题。 @tinglink

Improve

  • [Improvement-16125][dolphinscheduler-dist]减少Apache SeaTunnel二进制分发tarball文件的大小 @zhuxt2015
  • [Improvement-16182]增加Zookeeper连接超时时间 @ruanwenjun
  • [Improvement][Worker]将workerZKPath重命名为workerRegistryPath @caicancai
  • [Improvement][Helm]请为API/master/worker/alert配置生成configmap。 @pegasas

Others

  • [Chore] [CI]在Spotless检查中添加api-test和e2e-test @SbloodyS
  • [Chore]移除TaskInstance中的未使用dependentResult @ruanwenjun
  • [DSIP-51][Task]删除未使用的鸽子任务插件 @SbloodyS
  • [Chore]添加可合并检查 @SbloodyS
  • [Chore] [Cherry-Pick]从某个分支选取一些补丁合并到3.2.2版本中。 @SbloodyS
  • [Chore]为3.2.2版本撤销一些不兼容的修改。 @SbloodyS
  • [Chore]优化PR标题检查 @SbloodyS
  • [DSIP-50][UDF Manage]移除未使用的Apache SeaTunnel UDF管理功能 @SbloodyS
  • 修复任务不能使用工作流的环境 (#16199) @ruanwenjun
  • [Chore]禁用复合指标 (#16172) @ruanwenjun
  • [Chore]从JdbcOperator中移除未使用的SQLIntegrityConstraintViolationException @ruanwenjun
  • [Chore]使用TestContainer原始暴露的端口,而不是随机生成端口 @ruanwenjun
  • [DSIP-46]前端和后端统一逻辑任务参数的数据结构 @ruanwenjun
  • [CI]将OWASP版本提升 @SbloodyS
  • [Cherry-Pick-3.2.2]提取#16064号修复 @SbloodyS
  • [ "3.2.2版本发布时,删除了一些任务模块以减小部署包的大小。" ]( https://github.com/apache/dolphinscheduler/pull/16184 " "3.2.2版本发布时,删除了一些任务模块以减小部署包的大小。" ") @SbloodyS
  • 修复HdfsStorageOperatorTest的空指针异常(NPE) @ruanwenjun
  • 修复条件任务会导致工作流实例失败(#16152) @ruanwenjun
  • 修复DelayEntryTest可能会失败 @ruanwenjun
  • [CI]修复CommandDaoImplTest可能失败 @ruanwenjun
  • [Chore]禁用发现组合指标 @ruanwenjun
  • [CI]修复持续集成自动分配的错误 @SbloodyS
  • [Chore ]CI增加自动分配操作 @SbloodyS
  • [Chore]更新代码负责人 @caishunfeng
  • [Chore]优化CI(持续集成)检查 @SbloodyS
  • [Chore]为 IntelliJ IDEA 添加问题链接模板@Gallardot
  • [CI][UT]修复不稳定的单元测试 @SbloodyS
  • [Imporve][Master]优化分布式策略的doselect注解 @caicancai
  • [DSIP-45]优化存储SPI @ruanwenjun
  • [Imporvement]优化DolphinScheduler的MasterConfig模块注释 @caicancai
  • [CI][E2E]优化M1芯片本地模式的端到端性能 @SbloodyS
  • 添加RPC指标 @ruanwenjun
  • 修复SqlServer的split-merge SQL会遗漏分隔符;(#16118) @ruanwenjun
  • 修复 SQL Server 的拆分合并 SQL 时可能会遗漏分号; @ruanwenjun
  • 修复状态为调度的SeaTunnel任务实例不会失败转移。 @ruanwenjun
  • 在开关任务下的修复任务节点不会被跳过。 @ruanwenjun
  • 在开关任务下的修复任务节点将不会被跳过。 @ruanwenjun
  • 修复状态为已分派的任务实例将不会发生故障转移。 @ruanwenjun
  • 3.2.2版本发布,增加了任务纯粹性,删除了一些任务模块以减小部署包的大小。 @wangxj3



03


apache/dolphinscheduler-website仓库


Others

  • 任务:临时移除Kapa @Gallardot
  • 任务:尝试修复小部件上的logo URL错误 @Gallardot

< 🐬🐬 >
精彩推荐

用户实践案例
奇富科技  蜀海供应链 联通数科 拈花云科
蔚来汽车 长城汽车 集度 长安汽车
思科网讯 生鲜电商 联通医疗 联想
新网银行 消费金融  腾讯音乐 自如
有赞 伊利 当贝大数据
联想 传智教育 Bigo
通信行业  作业帮


迁移实践
Azkaban   Ooize   
Airflow (有赞案例) Air2phin(迁移工具)
Airflow迁移实践
Apache DolphinScheduler 3.0.0 升级到 3.1.8 教程


新手入门
选择Apache DolphinScheduler的10个理由
Apache DolphinScheduler 3.1.8 保姆级教程【安装、介绍、项目运用、邮箱预警设置】轻松拿捏!
Apache DolphinScheduler 如何实现自动化打包+单机/集群部署?
Apache DolphinScheduler-3.1.3 版本安装部署详细教程
Apache DolphinScheduler 在大数据环境中的应用与调优
< 🐬🐬 >
参与社区
参与Apache DolphinScheduler 社区有非常多的参与贡献的方式,包括:


贡献第一个PR(文档、代码) 我们也希望是简单的,第一个PR用于熟悉提交的流程和社区协作以及感受社区的友好度。

社区汇总了以下适合新手的问题列表:https://github.com/apache/dolphinscheduler/issues/5689

非新手问题列表:https://github.com/apache/dolphinscheduler/issues?
q=is%3Aopen+is%3Aissue+label%3A%22volunteer+wanted%22

参与社区贡献:https://dolphinscheduler.apache.org/zh-cn/community

来吧,DolphinScheduler开源社区需要您的参与,为中国开源崛起添砖加瓦吧,哪怕只是小小的一块瓦,汇聚起来的力量也是巨大的!


我知道你在看

【声明】内容源于网络
0
0
海豚调度
Apache DolphinScheduler是一个分布式、去中心化、易扩展的可视化DAG工作流任务调度系统,其致力于解决数据处理流程中错综复杂的依赖关系,使调度系统在数据处理流程中开箱即用。
内容 667
粉丝 0
海豚调度 Apache DolphinScheduler是一个分布式、去中心化、易扩展的可视化DAG工作流任务调度系统,其致力于解决数据处理流程中错综复杂的依赖关系,使调度系统在数据处理流程中开箱即用。
总阅读167
粉丝0
内容667