大数跨境

爱写代码乐于布道的贡献者,今天来认识这位来自思科的“全能手”!

爱写代码乐于布道的贡献者,今天来认识这位来自思科的“全能手”! 海豚调度
2023-06-20
1
导读:今日社区星力量。




点击蓝字 关注我们




社区星力量

截至今天,Apache DolphinScheduler 项目在 GitHub 上的 Star 数已突破 10.7K,贡献者人数也突破了 460 人。社区的不断壮大,离不开每位 Contributor 的支持。

今天我们来认识一位不断活跃在社区解决问题的 Contributor!


PROFILE

李庆旺

公司:思科

职位:Software Engineer

Github ID: qingwli

从事领域:大数据开发平台

兴趣爱好:做饭、看电视、折腾


社区贡献盘点


我们对社区做的第一个贡献就是告警模块相关,在工作中,我们常用的告警插件是Webex和PagerDuty,社区是没有支持的,于是支持两个告警插件是跟社区接触的第一步。

后面我在使用告警模块的时候,发现告警这块支持的比较单一,只能选择成功触发通知,或失败触发通知,绑定的是同一个告警组,即无论成功还是失败,告警的途径是相同的。这一点并不满足我们在实际生产环境中需要不同结果以不同方式通知的需求,于是我着手进行改造,可以根据不同的任务结果来触发不同的告警组件,当时还参加了社区的Meetup(精彩回顾:杭州思科对 Apache DolphinScheduler Alert 模块的改造)。

在后续的工作中,我们需要使用DolphinScheduler On K8s的功能,在实际的使用中,发现了社区这块有一些bug和不完善的地方。于是我们持续修复K8s、Helm和Docker相关的Bug,也都提交给了社区。同时也将LDAP(pr review中)、ETCD相关的配置添加到了Helm Chart中,还添加了Docker支持构建多平台镜像的功能,并优化了相关的文档。

我们也使用到了LDAP、修复了Bug,并完善了相关的功能,包括支持SSL和支持Helm Chart配置LDAP(pr review中)等。

注册中心模块尝试过社区支持的ZK、ETCD和JDBC,也在持续的优化中,相关的文档也在完善中。

现在,我们在慢慢接触 DolphiScheduler 调度的核心逻辑,加深对其核心功能的理解,争取能更深入地使用 DolphinScheduler 并让它变得更好。

对话社区

当初与 Apache DolphinScheduler 结缘,背后有什么有趣的故事吗?加入社区后,有哪些让你印象深刻的事?

说起来比较俗套,跟很多同学一样,也是由于工作的关系,需要寻找一个开源的大数据调度平台,经过选型对比之后,决定使用DolphinScheduler进行二次开发,在使用过程中,发现一些功能点社区还没有,于是着手二次开发并且回馈社区。在社区中遇到了很多志同道合的伙伴。

您参与开源有多长时间了?开源为什么吸引你?有什么关于参与开源的小故事可以分享吗?

差不多一年半,我还记得当时一个pr合并的时候还截图发过朋友圈。



我觉得程序员大部分使用的工具其实都是开源的,在有机会回馈给社区的时候当然会毫不犹豫。

您之前是否做过大数据调度系统调研?有做过DolphinScheduler 与其他调度系统的对比分析吗?

是的,我们之前使用过其他的调度平台,但是没有DAG等功能,无法满足实际使用需求。所以换到了DolphinScheduler。

您所在公司是否使用过 DolphinScheduler?使用场景是什么?

我们基于DolphinScheduler进行二次开发,搭建了团队的大数据调度平台,已经稳定运行一年多了。会在上面跑Spark、Flink、Sql和ETL 等任务。

基于DolphinScheduler的二次开发方案是否可以介绍一下?

我们将工作中常用的告警插件Webex和PagerDuty贡献给了社区,并且在使用DolphinScheduler On K8s过程中遇到的一些问题或者可以优化的点也都贡献给了社区,同时对我们用到的注册中心ETCD,JDBC和IDAP等等也都做了优化。

DS社区贡献给您的第一印象是怎样的?您希望在这里有何收获?

社区给我的第一印象就是活跃,Slack群里很活跃,Github上也很活跃,不一会就会有一个PR Merged,一会就会有新的Issue或者PR出来。提出的问题很快就会有人解答,提出的PR很快就会有社区成员反馈。

您认为调度系统最关键的需求是什么?

我认为调度系统最关键的需求就是稳定,能准时运行设置的任务,DolphinScheduler可以满足这些需求,会有一些小的bug,但是社区修复很快。同时,我希望调度系统能够支持足够多的任务类型,也看到最近一年社区新增了多种类型的任务和数据源等。

您持续在DolphinScheduler社区活跃的动力是什么?

我觉得有机会回馈社区是一个很荣幸的事情,之前只是用大家写好的东西,有机会能将自己的代码和思路贡献到社区给更多的同行用也是个很酷的事情。在这个过程中,我也能学到很多,跟打怪升级一样,看到自己越来越多的pr可以merge到社区也是一个成就感的事情,不知不觉已经接近50个pr了,很酷。后期,我也会持续活跃,更多地参与社区,跟社区一起成长。



参与贡献


随着国内开源的迅猛崛起,Apache DolphinScheduler 社区迎来蓬勃发展,为了做更好用、易用的调度,真诚欢迎热爱开源的伙伴加入到开源社区中来,为中国开源崛起献上一份自己的力量,让本土开源走向全球。


参与 DolphinScheduler 社区有非常多的参与贡献的方式,包括:


贡献第一个PR(文档、代码) 我们也希望是简单的,第一个PR用于熟悉提交的流程和社区协作以及感受社区的友好度。


社区汇总了以下适合新手的问题列表:https://github.com/apache/dolphinscheduler/issues/5689


非新手问题列表:https://github.com/apache/dolphinscheduler/issues?q=is%3Aopen+is%3Aissue+label%3A%22volunteer+wanted%22


如何参与贡献链接:https://dolphinscheduler.apache.org/zh-cn/community/development/contribute.html


来吧,DolphinScheduler开源社区需要您的参与,为中国开源崛起添砖加瓦吧,哪怕只是小小的一块瓦,汇聚起来的力量也是巨大的。


参与开源可以近距离与各路高手切磋,迅速提升自己的技能,如果您想参与贡献,我们有个贡献者种子孵化群,可以添加社区小助手微信(Leonard-ds) ,手把手教会您( 贡献者不分水平高低,有问必答,关键是有一颗愿意贡献的心 )。

添加社区小助手微信(Leonard-ds,好友申请注明“入交流群+姓名+公司+职位信息“,群里是实名制,仅用于验证身份) 



添加小助手微信时请说明想参与贡献。


来吧,开源社区非常期待您的参与。



< 🐬🐬 >
更多精彩推荐

优秀用户案例有奖征集 | 活动火热开启,快来投稿!

用一杯星巴克的钱,训练自己私有化的ChatGPT

【第十期】Apache DolphinScheduler 每周 FAQ 集锦

☞去年办了这么多场Meetup都没有你,2023年赶紧安排起来!

助力长城汽车数据管道平台连接“数据孤岛”,加强数据一元化,Apache DolphinScheduler 的角色定位

浅析 Apache DolphinScheduler 工作流实例的生命周期



点击阅读原文报名

【声明】内容源于网络
0
0
海豚调度
Apache DolphinScheduler是一个分布式、去中心化、易扩展的可视化DAG工作流任务调度系统,其致力于解决数据处理流程中错综复杂的依赖关系,使调度系统在数据处理流程中开箱即用。
内容 0
粉丝 0
海豚调度 Apache DolphinScheduler是一个分布式、去中心化、易扩展的可视化DAG工作流任务调度系统,其致力于解决数据处理流程中错综复杂的依赖关系,使调度系统在数据处理流程中开箱即用。
总阅读0
粉丝0
内容0