大数跨境

当大数据调度系统遇见数据湖,神奇的数据处理能力解锁了!

当大数据调度系统遇见数据湖,神奇的数据处理能力解锁了! 海豚调度
2022-07-07
0
导读:Apache DolphinScheduler与Apache Hidi强强联手!

              点亮 ⭐️ Star · 照亮开源之路


GitHub:https://github.com/apache/dolphinscheduler


1

活动简介

数据湖作为一个企业级的数据管理平台,用于分析不同类型的数据源。它既可以满足实时分析的需要,也可以作为数据仓库,满足批量数据挖掘的需要。在数据湖之上,借助一个任务调度系统高效、稳定且易于扩展的协调能力来扩充数据湖的外部能力,如数据摄取、数据存储、数据探索、数据发现、数据治理等,数据用户将可以轻松地与数据湖互动,而不必关注太多的技术细节。

本次活动中,最受欢迎的云原生大数据工作流调度平台 Apache DolphinScheduler 将与最受欢迎的数据湖产品 Apache Hidi 强强联手,带来调度系统与数据湖强强联手的最佳实践,通过实践案例,解析云原生时代下,大数据处理的神奇能力。

Apache DolphinScheduler[1]:一个云原生并带有强大可视化界面的大数据工作流调度平台,致力于让调度变得更加容易。截至目前已累计在 1000 多家公司生产环境中作为企业的核心调度系统,包括 IBM、腾讯、科大讯飞、美团、360、联通、顺丰等,覆盖金融、电信、零售、云计算、数据处理等广泛领域。贡献者超过 350+ 人,以开源社区的模式集合全球顶尖高科技公司的共同贡献,打造全球极致简单易用、稳定可扩展的 DataOps 平台。

Apache Hudi[2] 作为新一代流式数据湖平台。支持插入、更新、删除、增量读取等核心特性,目前已在国内外包括AWS、Uber、阿里巴巴、腾讯、字节跳动、华为、顺丰科技、滴滴、快手、Shopee等大公司生产落地,社区贡献者290+,以开源共建方式共同打造极致性能、易用性好的数据湖平台。
本次 Meetup 邀请来自阿里巴巴、Shopee、宇动源、传智教育的技术专家,带来一线实践分享,帮助开发者更好的将 Hudi、DolphinScheduler 应用于实际业务场景。

2

活动详情


3

活动报名

扫描下方二维码/点击链接/点击阅读原文, 别再犹豫,立即参与活动吧!

https://www.slidestalk.com/m/987/hudiweb1

参与贡献


随着国内开源的迅猛崛起,Apache DolphinScheduler 社区迎来蓬勃发展,为了做更好用、易用的调度,真诚欢迎热爱开源的伙伴加入到开源社区中来,为中国开源崛起献上一份自己的力量,让本土开源走向全球。


参与 DolphinScheduler 社区有非常多的参与贡献的方式,包括:


贡献第一个PR(文档、代码) 我们也希望是简单的,第一个PR用于熟悉提交的流程和社区协作以及感受社区的友好度。


社区汇总了以下适合新手的问题列表:https://github.com/apache/dolphinscheduler/issues/5689


非新手问题列表:https://github.com/apache/dolphinscheduler/issues?q=is%3Aopen+is%3Aissue+label%3A%22volunteer+wanted%22


如何参与贡献链接:https://dolphinscheduler.apache.org/zh-cn/docs/development/contribute.html


来吧,DolphinScheduler开源社区需要您的参与,为中国开源崛起添砖加瓦吧,哪怕只是小小的一块瓦,汇聚起来的力量也是巨大的。


参与开源可以近距离与各路高手切磋,迅速提升自己的技能,如果您想参与贡献,我们有个贡献者种子孵化群,可以添加社区小助手微信(Leonard-ds) ,手把手教会您( 贡献者不分水平高低,有问必答,关键是有一颗愿意贡献的心 )。


添加小助手微信时请说明想参与贡献。


来吧,开源社区非常期待您的参与。


< 💊 >

更多精彩推荐

☞Apache Dolphin Scheduler 3.0.0-beta-2 发布,LDAP 登录失败等问题已修复

自动更新选股模型,实时监控,基于 Apache DolphinSchedule 打造机器学习智能选股系统

开源大数据 Studio 应用开发: Apache Dolphinscheduler + Notebook

☞当 Apache DolphinScheduler 遇上 MLOps,机器学习模型部署到生产环境更快、更安全

☞日均 6000+ 实例,TB 级数据流量,Apache DolphinScheduler 如何做联通医疗大数据平台的“顶梁柱”?

☞中国联通改造 Apache DolphinScheduler 资源中心,实现计费环境跨集群调用与数据脚本一站式访问



我知道你在看

【声明】内容源于网络
0
0
海豚调度
Apache DolphinScheduler是一个分布式、去中心化、易扩展的可视化DAG工作流任务调度系统,其致力于解决数据处理流程中错综复杂的依赖关系,使调度系统在数据处理流程中开箱即用。
内容 667
粉丝 0
海豚调度 Apache DolphinScheduler是一个分布式、去中心化、易扩展的可视化DAG工作流任务调度系统,其致力于解决数据处理流程中错综复杂的依赖关系,使调度系统在数据处理流程中开箱即用。
总阅读167
粉丝0
内容667