大数跨境

Apache DolphinScheduler 3.3.0 Alpha发布,功能增强与性能优化大升级!

Apache DolphinScheduler 3.3.0 Alpha发布,功能增强与性能优化大升级! 海豚调度
2025-04-09
2
导读:新版本在任务管理、容错能力、扩展性等方面实现跨越式升级。

点击蓝字



关注我们

近期,Apache DolphinScheduler进行了版本更新,发布了3.3.0 alpha版本。Apache DolphinScheduler 3.3.0 alpha版本在任务管理、容错能力、扩展性等方面实现跨越式升级,为大规模工作流调度提供更稳定、灵活的解决方案。但需要提醒的是,此版本为alpha版本,请谨慎更新使用。

立即体验

  • 源码下载:https://github.com/apache/dolphinscheduler/archive/refs/tags/3.3.0-alpha.zip
  • 升级指南:请查看社区文档


此次更新涵盖了大量DSIP(优化提案)、Feature(功能更新)和Improvement(优化),下面是对本次发版重点的简要梳理。

  • 版本更新详情请查看Release Note:https://github.com/apache/dolphinscheduler/releases/tag/3.3.0-alpha


1

DSIP(优化提案)

以下为DolphinScheduler 3.3.0 alpha版本的结构性优化提案,对DolphinScheduler核心功能、架构、性能做出的系统性变更:

连接中心(Connection Center)支持增强

  • DSIP-19系列:
    支持 Zeppelin、SageMaker、K8s 等连接(@xdu-chenrj)
  • DSIP-27
    :Java 任务插件改进(@ailiujiarui)

🧾审计日志与远程日志优化

  • DSIP-24 / 25 / 26 / 57:
    远程日志与审计日志架构升级与回滚(@pegasas, @qingwli, @SbloodyS)

🔨Master/Task 执行逻辑优化

  • DSIP-44 / 54 / 56 / 61 / 67 / 65 / 73 / 87:
    从线程池调度、任务执行抽象、调度命令机制等多角度优化(@ruanwenjun)

💡用户体验优化

  • DSIP-50 / 51 / 59 / 60 / 62 / 68 / 72 / 78:
    清理冗余插件、模块、UI 结构统一化(@SbloodyS)

🧰其他

  • DSIP-75:
    自动添加 license header(@ruanwenjun)
  • DSIP-70:
    移除 1.x/2.x 升级代码(@SbloodyS)
  • DSIP-38:
    插件上传/下载 + 依赖优化(@SbloodyS)


2

Feature(新增功能)

🎧 监听与告警

  • 增加Listener 机制(#14981)
  • 支持 Prometheus AlertManager、Aliyun Voice、HTTP 测试发送(#15079, #15248, #15163)

🧪 新插件与集成

  • 支持 OceanBase DataX 任务(#16281)
  • 支持 EMR Serverless Spark(#16126)
  • 支持 Dinky 任务 Prepare Params 传参(#15947)

🧱 资源与权限管理

  • UI 显示资源路径、Worker Group 权限管理(#16590, #15600)

🗂 存储扩展

  • 增加腾讯云 COS 存储插件(#16565)

📄 文档增强

  • 安全模型文档、安全命名统一(#16609, #16587)


3

Improvement(改进优化)

⚙ 核心模块与性能

  • Master/Worker 线程池、注册中心 zk 超时优化、RPC 重试机制、依赖任务处理优化等( @ruanwenjun)

🧪 测试覆盖率提升

  • 提升 UT、E2E 覆盖率,填补空白测试用例(@abzymeinsjtu)

🧹 清理与重构

  • 移除冗余代码、日志优化、变量命名统一等(@SbloodyS、@caicancai、@Gallardot)

📦 部署/文档优化

  • 文档 typo 修复、Helm 配置补充、Docker Hub 优化、安装流程优化(@SbloodyS、@Gallardot)


4

Bug Fix(缺陷修复)

本周期修复的问题主要集中在以下几个模块:

  • 调度核心模块
    修复了子工作流在状态为PAUSE时仍能继续运行的问题(#16564)、依赖任务状态解析异常(#16599)、全局参数未正确传递(#16376)、条件依赖任务状态为WAITING_DEPEND时调度异常(#16232)等问题,增强了调度的稳定性与正确性。

  • 插件相关问题
    修复了 Elasticsearch 插件在使用过程中出现空指针异常的问题(#16107),以及文件插件在多线程下载文件过程中可能出现失败的情况(#16063),提升了插件的健壮性和兼容性。

  • 数据源配置问题
    解决了数据源参数未正确识别与解析的问题(#15874),并修复了 MySQL 数据源在部分 JDBC 驱动版本中连接失败的问题(#16376),增强了数据源连接的适配能力。

  • 前端展示问题
    修复了权限模块DATASOURCE_CATALOG的命名错误导致 UI 显示异常(#16590),以及任务状态展示与后端不一致的问题(#16594),提升了前端使用体验。

  • 测试用例修复
    修复了因依赖插件异常引发的 E2E 测试失败(#15892),并解决了部分单元测试在特定环境下不稳定的问题(#16120),提升了测试系统的稳定性。


5

Document(文档改进)

本周期文档更新覆盖了部署指南、贡献者说明和配置文档等多个方面:

  • 安装与部署文档
    更新了 Helm 安装说明,明确了部署步骤、Chart 参数配置,方便用户快速部署(#16604)。

  • 贡献者文档
    完善了贡献流程说明,新增了 PR 标题规范、提交流程图,帮助新贡献者更清晰地参与项目开发(#16294、#16125)。

  • 配置与使用文档
    补充了任务依赖、数据源配置、告警策略等模块的文档细节(#15972、#16097、#16407),提升了文档的可读性和准确性。


6

Chore(杂项优化)

Chore 类别的优化集中在 CI 流程、无效模块清理与部分重构方面:

  • CI/CD 流程优化
    引入 Mock Server 模拟调度执行过程,加快了 E2E 测试速度并提升稳定性(#16030);为多任务并发场景下的调度失败添加了兼容处理(#16139);优化了 CI 执行逻辑并简化了 E2E 执行命令(#16643)。

  • 模块清理与结构重构
    移除了部分未使用的旧模块、插件和无效测试代码,简化了代码结构,提升了整体代码清晰度和维护效率(#15973、#16588)。


7

贡献者名单

本次版本由社区开发者共同推动完成,特别感谢以下核心贡献者(部分名单):

  • 阮文俊
    (PMC成员):主导架构设计与核心功能开发。
  • 感谢Gallardot, weideguo等共计71位贡献者对本次版本发布的支持(GitHub ID):



Contributors



@Blue-Fox、@ZarakiKenpachi、@zhangyongqin、@ironnight、@liuchuo、@yehfan、@CaIShunfeng、@yuxiaoyang-cn、@kongchongming、@MasahiroZhang、@wuxuqiang、@gaoqiang173、@ckeeper97、@twocolds、@hvhye、@liujx0429、@lingkong-jiankong、@jiangm2019、@izukayy、@derryyy、@serpywa、@2rinn、@ilyaszq、@weidaokun、@codenavie、@peijie-liu、@mario27547、@yassirlr、@mingxiaojun、@lixunxd、@wmm2019、@Shawn1997、@nobida、@Chen-lina、@hzytong、@jiangang-huawei、@zhangchaofan、@dongchunlin、@HXT-DAO、@zhaozhichao、@YucongZhu、@onakobayashi、@sdh2110、@laitinglin、@wumomo-npm、@tang-xi、@Maxwell-nz、@bigfrog828、@flarv、@buqiong、@peicongl、@xiayuheng、@kokaokami、@ztust-hsy、@ChengYu-Cloud、@sxt5699、@0d7000、@suxianglong、@one-man-team、@zhouyi0410、@tianxuyuan、@heguanghu、@LotharHuber、@chongxiao-qw、@mcz1988、@windzhe、@linhong-ua、@sunkiming、@nothedream、@kenbliu、@klovejun、@ywq1024、@jianghaitao


8

加入社区

欢迎通过以下方式加入社区:

  • 邮件讨论:
    • 用户组:users@dolphinscheduler.apache.org
    • 开发者组:dev@dolphinscheduler.apache.org
  • GitHub贡献:
    提交Issue、修复Bug、参与DSIP提案(仓库列表https://github.com/apache/dolphinscheduler)。
  • 新手任务:
    社区提供适合初学者的Issue列表,助力快速上手(https://github.com/apache/dolphinscheduler/pulls?q=is%3Apr+is%3Aopen+label%3A%22first+time+contributor%22)。




用户案例



每日互动 惠生工程  作业帮 博世智驾
蔚来汽车 长城汽车集度长安汽车
思科网讯 食行生鲜 联通医疗 联想
新网银行  唯品富邦消费金融 
自如 有赞 伊利 当贝大数据
珍岛集团 传智教育 Bigo
YY直播  三合一 太美医疗
Cisco Webex兴业证券




迁移实战



Azkaban   Ooize(当贝迁移案例)
Airflow (有赞迁移案例)
Air2phin(迁移工具)
Airflow迁移实践



发版消息




Apache DolphinScheduler 3.2.2版本正式发布!
Apache DolphinScheduler 3.2.1 版本发布:增强功能与安全性的全面升级
Apache DolphinScheduler 3.1.9 版本发布:提升系统的稳定性和性能




加入社区



关注社区的方式有很多:

  • GitHub: https://github.com/apache/dolphinscheduler
  • 官网:https://dolphinscheduler.apache.org/en-us
  • 订阅开发者邮件:dev@dolphinscheduler@apache.org
  • X.com:@DolphinSchedule
  • YouTube:https://www.youtube.com/@apachedolphinscheduler
  • Slack:https://join.slack.com/t/asf-dolphinscheduler/shared_invite/zt-1cmrxsio1-nJHxRJa44jfkrNL_Nsy9Qg

同样地,参与Apache DolphinScheduler 有非常多的参与贡献的方式,主要分为代码方式和非代码方式两种。

📂非代码方式包括:

完善文档、翻译文档;翻译技术性、实践性文章;投稿实践性、原理性文章;成为布道师;社区管理、答疑;会议分享;测试反馈;用户反馈等。

👩‍💻代码方式包括:

查找Bug;编写修复代码;开发新功能;提交代码贡献;参与代码审查等。

贡献第一个PR(文档、代码) 我们也希望是简单的,第一个PR用于熟悉提交的流程和社区协作以及感受社区的友好度。

社区汇总了以下适合新手的问题列表https://github.com/apache/dolphinscheduler/pulls?q=is%3Apr+is%3Aopen+label%3A%22first+time+contributor%22

优先级问题列表https://github.com/apache/dolphinscheduler/pulls?q=is%3Apr+is%3Aopen+label%3Apriority%3Ahigh

如何参与贡献链接https://dolphinscheduler.apache.org/zh-cn/docs/3.2.2/%E8%B4%A1%E7%8C%AE%E6%8C%87%E5%8D%97_menu/%E5%A6%82%E4%BD%95%E5%8F%82%E4%B8%8E_menu

如果你❤️小海豚,就来为我点亮Star吧!

https://github.com/apache/dolphinscheduler


你的好友秀秀子拍了拍你

并请你帮她点一下“分享”

【声明】内容源于网络
0
0
海豚调度
Apache DolphinScheduler是一个分布式、去中心化、易扩展的可视化DAG工作流任务调度系统,其致力于解决数据处理流程中错综复杂的依赖关系,使调度系统在数据处理流程中开箱即用。
内容 667
粉丝 0
海豚调度 Apache DolphinScheduler是一个分布式、去中心化、易扩展的可视化DAG工作流任务调度系统,其致力于解决数据处理流程中错综复杂的依赖关系,使调度系统在数据处理流程中开箱即用。
总阅读167
粉丝0
内容667