大数跨境

【第 18 期】Apache DolphinScheduler 每周 FAQ 集锦

【第 18 期】Apache DolphinScheduler 每周 FAQ 集锦 海豚调度
2023-08-11
2
导读:DolphinScheduler的任务优先级实现的逻辑,或者结构是怎么样的?




点击蓝字 关注我们





摘要

为了让 Apache DolphinScheduler 的广大用户和爱好者对于此项目的疑问得到及时快速的解答,社区特发起此次【每周 FAQ】栏目,希望可以解决大家的实际问题。


关于本栏目的要点:

  1. 本栏目每周将通过腾讯文档(每周更新)从社区微信群收集 10-30 个问答,并在每周五整理具有典型代表意义的问答后发布,供大家参考。

  2. 所有人均可登录文档并提出问题,每人限 2 个提问,提问范围包括:

    1. 关于 Apache DolphinScheduler 的使用问题和技术性问题;

    2. 在实际应用中遇到的瓶颈问题;

    3. 参与社区贡献遇到的困难;

    4. 关于社区发展的疑问。

  3. 资源有限,请勿提问项目无关问题。

  4. 【每周FAQ】是一个社区互助的项目,发起宗旨是鼓励社区成员相互帮助,因此,欢迎大家积极踊跃志愿回答提出的疑问,在腾讯文档中写下答案即可。(高手们都别“潜水”了,出来露一手😜😎)

  5. 在社群里已经提问的问题,请勿在文档中重复提问,节约资源。

  6. 本栏目招募志愿者,有兴趣参与的小伙伴请加微信小助手 Leonard ds 报名。





8月5日-8月11日




想要调度Flink任务,需要Flink的环境,我需要把DolphinScheduler和Flink部署在同一台机器上吗?

是的,需要保证worker机器上有flink的运行时环境,无需启动flink任何服务,仅占用一点磁盘空间,保证整个集群flink配置一致即可。

sub_process组件中的子节点选择支持搜索选择方式,如不支持是否接受此功能分支合并?

接受,如果功能良好,可以联系社区的负责人来协助你合并代码,具体可以联系小助手。

3.1.7版本,内置变量build-in param 在追数的场景下,无法正确解析为调度日期。 


场景举例:在shell组件里面,echo $[yyyyMMdd],那么在定时调度正常场景下,显示为当天日期,是正确的。但是在补数情况下,假设今天为20230811,希望追数是20230803, 那么这时候启动补数后,应该得到20230803,但现在的日志里面echo的结果仍然是20230811,是当前的系统日期。


这种情况和2.x的版本不一致,2.x就可以正常得到调度日期。


尝试过3.1.4和3.1.7的两个版本的安装,都是在删除原有目录,清理掉数据库内的知识库重新初始化的情况下安装的。但是无法解析为调度的日期时钟存在。


想问一下,在3.x里面是有什么地方控制这种内置变量的解析么?还是要在安装的时候更改了哪些安装参数导致现在的内置变量的解析结果产生了变化?查看在线文档和安装文档,均未得到结果,导致现在系统不敢从2.x版本向上升级。

尝试下新建一个local param,bizdate = $[yyyyMMdd] 然后在脚本中使用 ${bizdate} 看看是否符合你的期望。

3.1.6版本在任务定义里对任务配置进行修改了以后,但工作流里打开任务还是旧版本没有变更,这是bug吗?

请确定你是否点了了保存工作流,保存是否成功,如果都是成功的,那就是bug。

cdh6.3.2安装ds3.1.7必须升级zookeeper吗?

可以先测试下能否在当前版本成功启动,如果不行再升级。

DolphinScheduler的任务优先级实现的逻辑,或者结构是怎么样的?

参考下master-server的源码,根据资源来判定,资源不足时优先级越高越先执行。

DolphinScheduler可以在线升级吗?

DolphinScheduler的升级是比较简单的,如果是跨大版本升级元数据有变更的话需要升级元数据;如果没有,替换jar包即可,开源版本目前不能在线升级,商业版本可以。


参与贡献


随着国内开源的迅猛崛起,Apache DolphinScheduler 社区迎来蓬勃发展,为了做更好用、易用的调度,真诚欢迎热爱开源的伙伴加入到开源社区中来,为中国开源崛起献上一份自己的力量,让本土开源走向全球。


参与 DolphinScheduler 社区有非常多的参与贡献的方式,包括:


贡献第一个PR(文档、代码) 我们也希望是简单的,第一个PR用于熟悉提交的流程和社区协作以及感受社区的友好度。


社区汇总了以下适合新手的问题列表:https://github.com/apache/dolphinscheduler/issues/5689


非新手问题列表:https://github.com/apache/dolphinscheduler/issues?q=is%3Aopen+is%3Aissue+label%3A%22volunteer+wanted%22


如何参与贡献链接:https://dolphinscheduler.apache.org/zh-cn/community/development/contribute.html


来吧,DolphinScheduler开源社区需要您的参与,为中国开源崛起添砖加瓦吧,哪怕只是小小的一块瓦,汇聚起来的力量也是巨大的。


参与开源可以近距离与各路高手切磋,迅速提升自己的技能,如果您想参与贡献,我们有个贡献者种子孵化群,可以添加社区小助手微信(Leonard-ds) ,手把手教会您( 贡献者不分水平高低,有问必答,关键是有一颗愿意贡献的心 )。

添加社区小助手微信(Leonard-ds,好友申请注明“入交流群+姓名+公司+职位信息“,群里是实名制,仅用于验证身份) 



添加小助手微信时请说明想参与贡献。


来吧,开源社区非常期待您的参与。



< 🐬🐬 >
活动推荐
想要了解最新的金融科技进展吗?

渴望与其他技术爱好者交流,并扩展您在金融科技行业中的人脉关系吗?

那么请参加我们即将举行的 Meetup,本次活动由 Apache DolphinScheduler 社区和 OceanBase 技术社区共同举办,聚焦金融科技进展,线上&线下同步,欢迎关注并预约直播。在新加坡的朋友也可以赴线下活动现场,与行业大佬和同行交流切磋~


  • 线下

⏰ 时间:2023 年 8月21日,晚上6点至8点(新加坡时间)
🌐 地点:新加坡,Lazada one 4th Floor
💬 语言:英语
🍕我们为您提供免费的披萨和小吃,包括素食和清真食品。

  • 线上

📺 视频号预约:


📺 YouTube在线链接:https://lnkd.in/gZXkNWTg
不要错过这个机会!

现在就注册报名活动吧:https://lnkd.in/gv6zwEfp



欢迎点赞在看

【声明】内容源于网络
0
0
海豚调度
Apache DolphinScheduler是一个分布式、去中心化、易扩展的可视化DAG工作流任务调度系统,其致力于解决数据处理流程中错综复杂的依赖关系,使调度系统在数据处理流程中开箱即用。
内容 0
粉丝 0
海豚调度 Apache DolphinScheduler是一个分布式、去中心化、易扩展的可视化DAG工作流任务调度系统,其致力于解决数据处理流程中错综复杂的依赖关系,使调度系统在数据处理流程中开箱即用。
总阅读0
粉丝0
内容0