DolphinScheduler安装

最新推荐文章于 2025-06-19 18:36:05 发布
原创 最新推荐文章于 2025-06-19 18:36:05 发布 · 1.3k 阅读 · 3 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#大数据 #dolphin

本文档详细介绍了如何在HDP3.1环境下编译DolphinScheduler 1.3.4源码，创建HDP分支并匹配HDP3.1.4.0，以及后续的快速部署步骤，包括依赖组件的处理、数据库配置和环境变量设置等。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

1、DS源码编译

1.1 版本规划

DS在成为Apache孵化项⽬之后的最新稳定版是1.3.4，并提供了Flink的⽀持，我们就使⽤1.3.4即可

1https://github.com/apache/incubator-dolphinscheduler/releases

1.2 克隆代码

1git clone https://github.com/apache/incubator-dolphinscheduler.git

1.3 适配HDP3.1

DS依赖于Hadoop、Hive的客户端，因此需要跟HDP整合，索性在1.3.4分⽀的基础上创建HDP分⽀，然后在编译

1.3.1 创建HDP分⽀

1cd incubator-dolphinscheduler
2git checkout 1.3.4
3git checkout -b 1.3.4-hdp3.1.4.0

1.3.2 匹配HDP3.1.4.0

  • 修改顶层pom.xml
1<!--<hadoop.version>2.7.3</hadoop.version>-->
2<hadoop.version>3.1.1</hadoop.version>
3<!--<hive.jdbc.version>2.1.0</hive.jdbc.version>-->
4<hive.jdbc.version>3.1.0</hive.jdbc.version>
  • 变更版本号 修改所有模块的pom.xml
1<!-- <version>1.3.4</version> -->
2<version>1.3.4-hdp3.1.4.0</version>

1.3.3 编译及安装包

1mvn -U clean package -Prelease -Dmaven.test.skip=true

正常编译完后，会在 dolphinscheduler-dist/target⽬录下⽣成如下安装包

1apache-dolphinscheduler-incubating-1.3.4-hdp3.1.4.0-dolphinscheduler-bin.tar.gz
最低0.47元/天 解锁文章

200万优质内容无限畅学
Dolphinscheduler安装部署
youyou263的博客
01-13 1186
最近有其它团队的小伙伴找来，要整个数据编排的东东，哎，咋这么巧，最近刚好在github上看到dolphinscheduler这个东东，所以就推荐给小伙伴，并提供了安装方法。
Apache DolphinScheduler 【安装部署】
功不唐捐，玉汝于成
04-03 3105
Dolphinscheduler 安装部署
从 0 到 1 玩转 DolphinScheduler！一文解锁分布式任务调度神器的奥秘与安装攻略
最新发布
上岸第一剑，先斩我自己。
06-19 2104
在大数据与云计算技术飞速发展的当下，企业和开发者面临着日益复杂的数据处理与任务调度难题。传统的调度工具在面对大规模、多样化的任务时，往往力不从心。而 DolphinScheduler 作为一款开源的分布式工作流任务调度系统，凭借其强大的功能和便捷的使用体验，成为了众多企业和开发者的 “心头好”。本文将带你深入了解 DolphinScheduler 的魅力，并手把手教你完成安装部署，开启高效任务调度之旅。
DolphinScheduler安装部署
热门推荐
AnameJL的博客
08-10 1万+
DolphinScheduler调度工具安装部署
Dolphinscheduler 安装
南风知我意
05-07 1127
前置准备工作 JDK：下载JDK (1.8+)，并将 JAVA_HOME 配置到以及 PATH 变量中。如果你的环境中已存在，可以跳过这步。 二进制包：在下载页面下载 DolphinScheduler 二进制包 数据库 MySQL (5.7+)，两者任选其一即可，MySQL 则需要 JDBC Driver 8.0.16 注册中心：ZooKeeper (3.4.6+)， 准备 DolphinScheduler 启动环境 配置用户免密及权限 创建部署用户，并且一定要配置 sudo 免密。 启动 zookee
DolphinScheduler-安装
weixin_48370579的博客
08-10 1070
DolphinScheduler-安装 1、上传解压 tar -zxvf DolphinScheduler-bin.tar.gz 2、修改配置文件 cd conf 2.1、修改mysql链接配置 vim datasource.properties 修改一下配置 spring.datasource.driver-class-name=com.mysql.jdbc.Driver spring.dat...
安装dolphinscheduler
ooyyaa6561的博客
12-02 3224
DolphinScheduler
任务调度工具DolphinScheduler的安装部署
互联网知识分享
08-16 715
是一款分布式的、易扩展的、高可用的、易维护的任务调度工具，它可以帮助用户实现任务的自动化调度和监控。支持多种任务类型，包括ShellPythonSparkFlink等，同时也支持任务依赖性管理、任务失败重试、任务流程的定义与调度等功能。本文将详细介绍的安装部署过程。本文详细介绍了的安装部署步骤，包括环境准备、下载安装包、配置数据库、初始化数据库、启动、配置Hadoop集群和添加Worker节点等。通过按照以上步骤进行操作，即可成功安装和部署。
DolphinScheduler1.3.0安装包.rar
06-19
DolphinScheduler1.3.0安装包.rar
DolphinScheduler(海豚调度器)安装与试玩一下
KasarJ的博客
09-09 2552
DolphinScheduler部署
DolphinScheduler安装及部署
weixin_51698042的博客
12-06 361
（1）五台节点均需部署JDK（1.8+），并配置相关环境变量。（2）需部署数据库，支持MySQL（5.7+）或者PostgreSQL（8.2.15+）。如 MySQL 则需要 JDBC Driver 8.0.16。（3）需部署Zookeeper（3.4.6+）。（4）如果启用 HDFS 文件系统，则需要 Hadoop（2.6+）环境。（5）五台节点均需安装进程管理工具包psmisc。
DolphinScheduler（apache-dolphinscheduler-2.0.6-bin.tar.gz）(已安装过)
07-18
关于DolphinScheduler Apache DolphinScheduler是一个分布式易扩展的可视化DAG工作流任务调度开源系统。解决数据研发ETL 错综复杂的依赖关系，不能直观监控任务健康状态等问题。DolphinScheduler以DAG流式的方式将Task组装起来，可实时监控任务的运行状态，同时支持重试、从指定节点恢复失败、暂停及Kill任务等操作 简单易用 DAG监控界面，所有流程定义都是可视化，通过拖拽任务定制DAG，通过API方式与第三方系统对接, 一键部署 高可靠性 去中心化的多Master和多Worker, 自身支持HA功能, 采用任务队列来避免过载，不会造成机器卡死 丰富的使用场景 支持暂停恢复操作.支持多租户，更好的应对大数据的使用场景. 支持更多的任务类型，如 spark, hive, mr, python, sub_process, shell 高扩展性 支持自定义任务类型，调度器使用分布式调度，调度能力随集群线性增长，Master和Worker支持动态上下线
DolphinScheduler 安装
weixin_42889424的博客
05-04 389
DolphinScheduler 安装
数据流调度框架-dolphinscheduler的安装与使用
我的博客
09-25 2985
世界上并没有完美的程序，但是我们并不因此而沮丧，因为写程序就是一个不断追求完美的过程。 1.下载：dolphinscheduler 2.下载：zookeeper 3.配置：zookeeper 4.配置：dolphinscheduler 5.创建用户：dolphinscheduler 6.设置ssh免密登录： 7.数据库初始化： 8.配置数据源： 9.执行数据库脚本： 10.环境变量配置： 11.参数配置： 12.资源中心功能： 13.一键部署： 14.修改端口： 15.登陆系统： 1.下载：dolphi.
dolphinscheduler-安装
program哲学
03-29 429
执行install.sh有个坑 需要把这个rm删除操作注释掉 不然会误删文件 vim script/scp-hosts.sh # this work for additional information regarding copyright ownership. # See the License for the specific language governing permissions and #ssh -p $sshPort $host "cd $installPath/; rm -rf b
调度器——DolphinScheduler讲解及安装教程
qq_73339471的博客
07-22 817
因 SPRING_DATASOURCE_URL 配置中追加 createDatabaseIfNotExist=true，所以无需手动建库。初始密码：dolphinscheduler123。初始用户：admin。
DolphinScheduler安装与配置
指针先生
02-14 2668
Apache DolphinScheduler是一个分布式、易扩展的可视化DAG工作流任务调度平台。致力于解决数据处理流程中错综复杂的依赖关系，使调度系统在数据处理流程中开箱即用。DolphinScheduler的主要角色如下：采用分布式无中心设计理念，MasterServer主要负责 DAG 任务切分、任务提交、任务监控，并同时监听其它MasterServer和WorkerServer的健康状态。也采用分布式无中心设计理念，WorkerServer主要负责任务的执行和提供日志服务。
【DolphinScheduler】安装
wdl249910119的博客
01-02 1782
DolphinScheduler安装基础软件安装安装部署 基础软件安装 PostgreSQL (8.2.15+) or MySQL (5.7系列) : 两者任选其一即可 JDK (1.8+) : 必装，请安装好后在/etc/profile下配置 JAVA_HOME 及 PATH 变量 ZooKeeper (3.4.6+) ：必装 Hadoop (2.6+) or MinIO ：选装，如果需要用到资源上传功能，可以选择上传到Hadoop or MinIO上 注意：DolphinScheduler本身不依赖
DolphinScheduler 安装及使用
半吊子Kyle的博客
08-31 7565
DolphinScheduler 安装及使用它可以做什么？安装准备安装配置修改参数一键部署 Apache DolphinScheduler 介绍 它可以做什么？ 相信使用过 CDH 中 oozie 的朋友一定不会对它陌生，它是一个工作流调度框架，可以通过 WEB-UI 页面帮助我们完成一些工作流调度任务（HDFS、MapReduce、Java、Shell、SSH、Pig、Hive）的定义和发布 今天介绍的 Apache DolphinScheduler 是 2019 年中国易观公司开源的一个调度系统，相
dolphinscheduler安装python
04-30
下面是DolphinScheduler安装Python的步骤： 1. 安装Python：首先，你需要在你的系统上安装Python。你可以从Python官方网站（https://www.python.org/）下载适合你系统的Python安装包，并按照官方文档进行安装。 2....
评论 2
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

李子捌

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值