大数跨境

Ubuntu 22 下 DolphinScheduler 3.x 伪集群部署实录

Ubuntu 22 下 DolphinScheduler 3.x 伪集群部署实录 海豚调度
2025-09-17
1
导读:本文记录了在Ubuntu 22.04上部署Apache DolphinScheduler(伪集群模式)的完整过程。

点击蓝字,关注我们

本文记录了在 Ubuntu 22.04 上部署 Apache DolphinScheduler(伪集群模式)的完整过程,涵盖环境准备、安装配置、数据库初始化、用户创建及服务启动等步骤。适合个人学习、功能验证或测试使用。


1

环境准备

1. 安装 Java 8

DolphinScheduler 目前仅支持 Java 8 或 Java 11,不兼容 Java 17 及以上版本。这里选择安装 OpenJDK 8:

sudo apt updatesudo apt install openjdk-8-jdk -y

配置环境变量,可写入/etc/profile.d/java.sh或用户 .bashrc文件:

export JAVA_HOME=/usr/lib/jvm/java-8-openjdk-amd64export PATH=$JAVA_HOME/bin:$PATH

验证 Java 安装:

java -version

2. 安装 ZooKeeper

ZooKeeper 是 DolphinScheduler 的注册中心组件,所有 Master 和 Worker 节点都依赖它进行调度与注册。

建议先单机部署一个 ZooKeeper 服务。

简单步骤如下:

# 下载并解压wget https://dlcdn.apache.org/zookeeper/zookeeper-3.9.3/apache-zookeeper-3.9.3-bin.tar.gztar -xzf apache-zookeeper-3.9.3-bin.tar.gzmv apache-zookeeper-3.9.3-bin /opt/zookeeper# 创建配置文件cp /opt/zookeeper/conf/zoo_sample.cfg /opt/zookeeper/conf/zoo.cfg# 启动服务/opt/zookeeper/bin/zkServer.sh start

3. 安装PostgreSQL

使用官方 APT 源在 Ubuntu 22.04 上安装 PostgreSQL。


2

部署DolphinScheduler

1. 下载并解压安装包

从官网下载对应版本的二进制安装包,也可以直接使用命令:

wget https://dlcdn.apache.org/dolphinscheduler/3.2.1/apache-dolphinscheduler-3.2.1-bin.tar.gztar -xzf apache-dolphinscheduler-3.2.1-bin.tar.gzmv apache-dolphinscheduler-3.2.1-bin dolphinschedulercd dolphinscheduler

2. 修改配置文件

DolphinScheduler 启动时会读取 bin/env/dolphinscheduler_env.sh中的环境变量配置。根据你的环境修改以下内容:

export JAVA_HOME=/usr/lib/jvm/java-8-openjdk-amd64# 数据库配置export DATABASE=postgresqlexport SPRING_PROFILES_ACTIVE=${DATABASE}export SPRING_DATASOURCE_URL="jdbc:postgresql://127.0.0.1:5432/dolphinscheduler"export SPRING_DATASOURCE_USERNAME=dolphinschedulerexport SPRING_DATASOURCE_PASSWORD=dolphinscheduler# ZooKeeper 注册中心export REGISTRY_TYPE=zookeeperexport REGISTRY_ZOOKEEPER_CONNECT_STRING=localhost:2181# 其他通用配置export SPRING_CACHE_TYPE=noneexport SPRING_JACKSON_TIME_ZONE=UTC

Hadoop、Spark、Flink 等任务相关配置可按需注释或保留默认值。

3. 创建部署用户

为 DolphinScheduler 创建独立的系统用户:

sudo useradd -m -d /home/dolphinscheduler -s /bin/bash dolphinschedulerecho "dolphinscheduler:dolphinscheduler" | sudo chpasswd

设置 sudo 免密权限(推荐用 sudoers.d 方式):

echo "dolphinscheduler ALL=(ALL) NOPASSWD: ALL" | sudo tee /etc/sudoers.d/dolphinschedulerchmod 440 /etc/sudoers.d/dolphinscheduler

给当前安装目录授权:

sudo chown -R dolphinscheduler:dolphinscheduler dolphinscheduler


3

初始化数据库(PostgreSQL)

DolphinScheduler 默认不会自动初始化数据库结构,因此推荐手动执行 SQL 脚本。否则在首次启动时会因为表不存在而报错。

数据库创建步骤如下:

sudo -u postgres psql-- 创建用户与数据库CREATE USER dolphinscheduler WITH PASSWORD 'dolphinscheduler';CREATE DATABASE dolphinscheduler OWNER dolphinscheduler;\q

然后执行初始化脚本:

psql -U dolphinscheduler -d dolphinscheduler -f tools/sql/postgresql/dolphinscheduler_postgresql.sql

如果你找不到 SQL 文件,可在源码或 GitHub release 分支中找到,路径通常是:

dolphinscheduler-dao/src/main/resources/sql/dolphinscheduler_postgresql.sql

例如 3.2.2 对应地址:
https://github.com/apache/dolphinscheduler/blob/3.2.2-release/dolphinscheduler-dao/src/main/resources/sql/dolphinscheduler_postgresql.sql

4

启动服务


切换到部署用户,进入 DolphinScheduler 安装目录后,依次启动以下模块:

su - dolphinschedulercd ~/dolphinscheduler# 启动各模块bash bin/dolphinscheduler-daemon.sh start master-serverbash bin/dolphinscheduler-daemon.sh start worker-serverbash bin/dolphinscheduler-daemon.sh start api-serverbash bin/dolphinscheduler-daemon.sh start logger-server

5

验证部署


  • 打开浏览器访问:http://<服务器IP>:12345/dolphinscheduler
  • 默认账号密码:admin / dolphinscheduler123
  • 查看日志排错:日志文件在 logs/ 目录下,包含所有模块的启动与运行信息。

6

总结


参考链接

  • DolphinScheduler 官网 https://dolphinscheduler.apache.org/zh-cn/
  • 3.2.2 安装文档(伪集群) https://dolphinscheduler.apache.org/zh-cn/docs/3.2.2/guide/installation/pseudo-cluster
  • PostgreSQL 官方文档 https://www.postgresql.org/docs/
  • ZooKeeper 官方下载 https://zookeeper.apache.org/releases.html
  • GitHub SQL 初始化路径示例 https://github.com/apache/dolphinscheduler/blob/3.2.2-release/dolphinscheduler-dao/src/main/resources/sql/dolphinscheduler_postgresql.sqlhttps://github.com/apache/dolphinscheduler/blob/3.2.2-release/dolphinscheduler-dao/src/main/resources/sql/dolphinscheduler_postgresql.sql

原文链接:https://blog.csdn.net/kaka_buka/article/details/149511194





用户案例



天翼云Zoom网易邮箱 
每日互动 惠生工程  作业帮 
博世智驾 蔚来汽车 长城汽车
集度长安汽车思科网讯
食行生鲜联通医疗联想
新网银行唯品富邦消费金融 
自如有赞伊利当贝大数据
珍岛集团传智教育Bigo
YY直播  拈花云科太美医疗
Cisco Webex兴业证券




迁移实战



Azkaban   Ooize(当贝迁移案例)
Airflow (有赞迁移案例)
Air2phin(迁移工具)
Airflow迁移实践



发版消息




Apache DolphinScheduler 3.2.2版本正式发布!
Apache DolphinScheduler 3.2.1 版本发布:增强功能与安全性的全面升级
Apache DolphinScheduler 3.3.0 Alpha发布,功能增强与性能优化大升级!




加入社区



关注社区的方式有很多:

  • GitHub: https://github.com/apache/dolphinscheduler
  • 官网:https://dolphinscheduler.apache.org/en-us
  • 订阅开发者邮件:dev@dolphinscheduler@apache.org(向邮箱发送任意内容,收到邮件后回复同意订阅即可)
  • X.com:@DolphinSchedule
  • YouTube:https://www.youtube.com/@apachedolphinscheduler
  • Slack:https://join.slack.com/t/asf-dolphinscheduler/shared_invite/zt-1cmrxsio1-nJHxRJa44jfkrNL_Nsy9Qg

同样地,参与Apache DolphinScheduler 有非常多的参与贡献的方式,主要分为代码方式和非代码方式两种。

📂非代码方式包括:

完善文档、翻译文档;翻译技术性、实践性文章;投稿实践性、原理性文章;成为布道师;社区管理、答疑;会议分享;测试反馈;用户反馈等。

👩‍💻代码方式包括:

查找Bug;编写修复代码;开发新功能;提交代码贡献;参与代码审查等。

贡献第一个PR(文档、代码) 我们也希望是简单的,第一个PR用于熟悉提交的流程和社区协作以及感受社区的友好度。

社区汇总了以下适合新手的问题列表https://github.com/apache/dolphinscheduler/pulls?q=is%3Apr+is%3Aopen+label%3A%22first+time+contributor%22

优先级问题列表https://github.com/apache/dolphinscheduler/pulls?q=is%3Apr+is%3Aopen+label%3Apriority%3Ahigh

如何参与贡献链接https://dolphinscheduler.apache.org/zh-cn/docs/3.2.2/%E8%B4%A1%E7%8C%AE%E6%8C%87%E5%8D%97_menu/%E5%A6%82%E4%BD%95%E5%8F%82%E4%B8%8E_menu

如果你❤️小海豚,就来为我点亮Star吧!

https://github.com/apache/dolphinscheduler


你的好友秀秀子拍了拍你

并请你帮她点一下“分享”

【声明】内容源于网络
0
0
海豚调度
Apache DolphinScheduler是一个分布式、去中心化、易扩展的可视化DAG工作流任务调度系统,其致力于解决数据处理流程中错综复杂的依赖关系,使调度系统在数据处理流程中开箱即用。
内容 667
粉丝 0
海豚调度 Apache DolphinScheduler是一个分布式、去中心化、易扩展的可视化DAG工作流任务调度系统,其致力于解决数据处理流程中错综复杂的依赖关系,使调度系统在数据处理流程中开箱即用。
总阅读167
粉丝0
内容667