大数跨境

Apache DolphinScheduler项目与社区7-8月发展报告

Apache DolphinScheduler项目与社区7-8月发展报告 海豚调度
2024-09-09
0
导读:小伙伴们,社区7-8月报更新啦!

点击蓝字,关注我们

各位热爱 Apache DolphinScheduler 的小伙伴们,社区7-8月报更新啦!这里将记录 Apache DolphinScheduler 社区每月的重要更新,欢迎关注!




01


Merge Stars


感谢以下小伙伴上两个月为 Apache DolphinScheduler 项目和社区发展所做的精彩贡献(排名不分先后):

@pusl6,@QuakeWang,@EricGao888,@starrysxy,@xxzuo,@JohnZp,@zhongjiajie,@topsli,@BruceWong96,@caishunfeng,@wangbowen1024,@pegasas,@gaoyan1998,@yelijing18,@lyyprean,@wangxj3,@bajiaolong,@saowu,@chenss1,@xxsc0529,@Kinsonx,@SbloodyS,@Gallardot,@ChaoquanTao,@cncws,@Dyqer,@ruanwenjun,@ThomasTan2002,@shouwangyw



02



apache/dolphinscheduler仓库

fix

  • [Fix-16492][alert]FeiShuSender Exception.getMessage 是空的 @saowu
  • [Fix-15961] [UI]在PyTorch任务中,将pythonCommand重命名为pythonLauncher。 @cncws
  • [Fix-16475][UI]在工作流定义网格中无法成功设置定时 @topsli
  • [Fix-16464] [pom]修复父pom插件配置错误 @chenss-1
  • [Fix-16382]修复Apache SeaTunnel异步主任务casthread池调用的激增错误 @Dyqer
  • [Fix-16424]K8sUtils#jobExist 可能会导致巨大的内存使用量 @ChaoquanTao
  • [Fix-16428]只有管理员用户可以授予数据源 @wangxj3
  • [Chore][Hotfix]将docker-compose改为docker compose在ci中 @SbloodyS
  • [Fix-16410]values.yaml中的错误环境 @yelijing18
  • [Fix-16388][Helm]无法将updateStrategy从RollingUpdate更改为onDelete @Gallardot
  • [Fix-16374][dolphinscheduler-alert]修复DingTalk,将atUserIds参数替换为atDingtalkIds @xxzuo
  • [Fix-16346]修复一个阻止重新上传资源文件的错误 @JohnZp
  • [Fix-16353][dao]修复batchInsert方法中错误的参数名 'processLineages' @starrysxy
  • [Fix-16347]修复JdbcRegistry可能会获取到重复的子项 @ruanwenjun
  • [Fix-15927]整理并校对依赖任务文档。 @SbloodyS
  • [Fix-16329]修复离线工作流错误 @SbloodyS
  • [Fix-15519]整理Apache SeaTunnel数据X任务文档 @SbloodyS
  • [Fix-16308]修复查询资源列表分页错误和文档。 @SbloodyS
  • [Fix-16322]将默认的registry-disconnect-strategy:strategy设置为stop @ruanwenjun
  • [Fix-16314][NOTICE]在NOTICE文件中更正年份 @wangxj3
  • [Fix-16279]支持Java 8日期/时间类型java.time.OffsetDateTime @xxzuo
  • [Fix-16295][Task]Apache SeaTunnel 远程Shell任务插件运行错误 @wangbowen1024
  • [Fix-16290]过滤系统CPU使用率/进程CPU使用率中的NaN @ruanwenjun
  • [Fix-16272][Alert Server]报警服务器未能发送报警 @wangbowen1024
  • [Fix-16257][Doc]Apache SeaTunnel任务参数传递的错误文档截图 @QuakeWang
  • [Fix-16253]修复JDBCRegistry刷新锁定错误 @ruanwenjun
  • [Fix-15828]修复expandListParameter功能 @xxzuo
  • [Fix-15644][ui]修复UI:编辑文件后无法查询列表 @bajiaolong

improve

  • [Improvement-16546][Master]在IWorkflowControlClient中添加repeatTriggerWorkflowInstance/triggerFromFailureTasks/triggerFromSuspendTasks方法 @ruanwenjun
  • [Improvement-16537][API]修复api工作流并行回填中的拼写错误 @pegasas
  • [Improvement-16516]在后端代码中统一命名为工作流 @SbloodyS
  • [Improvement-16501][dolphinscheduler-api]在Status.java中的拼写错误(编号16501) @lyyprean
  • [Improvement-16487][Master]优化工作流依赖任务的从属结果 @shouwangyw
  • [Improvement-16426]在release方法中删除TaskGroupQueue @ruanwenjun
  • [Improvement-16421]移除阿里云无服务器Spark数据源处理器中的重复代码 @wangxj3
  • [Improvement-15448][api]使用Map来避免重复遍历List @Kinsonx
  • [Improvement-16360] [Doc]添加项目工作组认证文档 @SbloodyS
  • [Improvement-15448]在项目列表中移除冗余查询 @SbloodyS
  • [Improvement-16333][Helm]关于Apache SeaTunnel的updateStrategy的支持 @Gallardot
  • [Improvement-16311]优化安装文档 @SbloodyS
  • [Feature-16132][Task Plugin]对于OceanBase DataX任务的支持 @xxsc0529
  • [Improvement-16266][Metrics]添加心跳指标 @Gallardot
  • [Feature-16229]在Apache SeaTunnel中添加Python使用文件端到端测试用例 @SbloodyS
  • [Feature-16127]支持EMR Serverless Spark @EricGao888
  • [Improvement-16122][Authentication]改进K8s资源中心声明 @pegasas
  • [Feature-16269][dinky-task]支持小巧的任务来接收在任务内部或从上一个任务传递的准备参数 @gaoyan1998
  • [Improvement-15815][ui]改进以查找当前版本标识符(#15815) @pusl6

others

  • [Chore]优化发布文档 @SbloodyS
  • [DSIP-70]在3.3.0-release中废弃了1.x和2.x的升级代码 @SbloodyS
  • [Chore]在README.md中移除不支持的功能 @ruanwenjun
  • [Chore]删除过时的代码所有者 @SbloodyS
  • [Doc-16535]删除额外的SSH任务节点类型文档 @wangxj3
  • [DSIP-67]使用命令触发工作流实例,而非生成工作流实例 @ruanwenjun
  • [Doc-16490]修改了一些关于Python网关服务的注释 @BruceWong96
  • [DSIP-62][Http Alert Plugin]重构 HTTP 警报插件 @SbloodyS
  • [ [Chore]将"E2E-K8S-Result"添加到可合并检查中 ]( https://github.com/apache/dolphinscheduler/pull/16439 " [Chore]将"E2E-K8S-Result"添加到可合并检查中 ") @SbloodyS
  • [Chore]修复推送Docker CI错误 @SbloodyS
  • [DSIP-60][Http task plugin]重构HTTP任务插件 @SbloodyS
  • [Doc-16403]简化K8s部署步骤 @Gallardot
  • [Chore]对于Apache SeaTunnel的过时问题改进 @SbloodyS
  • [DSIP-59]移除单个任务定义代码和用户界面 @SbloodyS
  • [Doc-16375]更改前端构建命令 @ThomasTan2002
  • [Chore]修改发布文档 @wangxj3
  • [DSIP-57][Audit]恢复PR 14981代码 @SbloodyS
  • [Chore]3.2.2-doc 修改传输字符 @wangxj3
  • [Chore]优化前端CI检查 @SbloodyS
  • [DSIP-61][Master]重构主节点的线程池和状态事件 orchestratior @ruanwenjun
  • [Chore]3.2.2-release 文档 @wangxj3
  • [Chore]修复Sonar无法工作 @ruanwenjun
  • [Chore]优化OWASP依赖检查 @SbloodyS
  • [Chore]优化CI检查 @SbloodyS
  • [Chore]使用SecureRandom而不是ThreadLocalRandom @ruanwenjun
  • [DSIP-53]建议添加依赖任务的过程血缘解析功能 @SbloodyS
  • [DSIP-56]重构JDBC注册支持的会话超时和数据变更事件 @ruanwenjun
  • [Chore]警报服务器未能发送警报(#16275) @SbloodyS
  • [CP-16252]修复JDBCRegistry刷新锁定错误(#16252) @ruanwenjun
  • [DSIP-54][Master]使用ClusterManager在主服务器上管理集群 @ruanwenjun
  • [Chore]在帮助审查K8s、度量、注册表、helm等时,添加codeowner以提供代码审查支持。 @Gallardot
  • [Chore]修复不稳定的大规模端到端测试 @SbloodyS
  • [Chore]移除未使用的资源查询 @caishunfeng
  • [Chore]强制在准备/发布分支上检查CI @ruanwenjun



03


apache/dolphinscheduler-sdk-python仓库


improve

  • [Improvement][Doc]为用户添加注释,以更改和更新pyds令牌 @caishunfeng

others

  • 关于Apache SeaTunnel的cli配置,应该不需要启动PythonGateway服务器。 @zhongjiajie
  • 关于Apache SeaTunnel的问题:在macos-13上,codecov/codecov-action无法正常工作。 @zhongjiajie
  • 修复ci lint错误 @zhongjiajie



04


apache/dolphinscheduler-website仓库

fix

  • [Fix]修复网站搜索 @xxzuo

others

  • [doc]3.2.2 文档 @wangxj3
< 🐬🐬 >
精彩推荐


用户实践案例
奇富科技  蜀海供应链 联通数科 拈花云科
蔚来汽车 长城汽车 集度 长安汽车
思科网讯 生鲜电商 联通医疗 联想
新网银行 消费金融  腾讯音乐 自如
有赞 伊利 当贝大数据
联想 传智教育 Bigo
通信行业  作业帮


迁移实践
Azkaban   Ooize   
Airflow (有赞案例) Air2phin(迁移工具)
Airflow迁移实践
Apache DolphinScheduler 3.0.0 升级到 3.1.8 教程


新手入门
选择Apache DolphinScheduler的10个理由
Apache DolphinScheduler 3.1.8 保姆级教程【安装、介绍、项目运用、邮箱预警设置】轻松拿捏!
Apache DolphinScheduler 如何实现自动化打包+单机/集群部署?
Apache DolphinScheduler-3.1.3 版本安装部署详细教程
Apache DolphinScheduler 在大数据环境中的应用与调优
< 🐬🐬 >
参与社区
参与Apache DolphinScheduler 社区有非常多的参与贡献的方式,包括:


贡献第一个PR(文档、代码) 我们也希望是简单的,第一个PR用于熟悉提交的流程和社区协作以及感受社区的友好度。

社区汇总了以下适合新手的问题列表:https://github.com/apache/dolphinscheduler/issues/5689

非新手问题列表:https://github.com/apache/dolphinscheduler/issues?
q=is%3Aopen+is%3Aissue+label%3A%22volunteer+wanted%22

参与社区贡献:https://dolphinscheduler.apache.org/zh-cn/community

来吧,DolphinScheduler开源社区需要您的参与,为中国开源崛起添砖加瓦吧,哪怕只是小小的一块瓦,汇聚起来的力量也是巨大的!


我知道你在看

【声明】内容源于网络
0
0
海豚调度
Apache DolphinScheduler是一个分布式、去中心化、易扩展的可视化DAG工作流任务调度系统,其致力于解决数据处理流程中错综复杂的依赖关系,使调度系统在数据处理流程中开箱即用。
内容 667
粉丝 0
海豚调度 Apache DolphinScheduler是一个分布式、去中心化、易扩展的可视化DAG工作流任务调度系统,其致力于解决数据处理流程中错综复杂的依赖关系,使调度系统在数据处理流程中开箱即用。
总阅读167
粉丝0
内容667