dataX、dataX-web安装部署 dataX集群模式

dataX安装

1、直接下载dataX.tar.gz,下载后解压至本地某个目录,进入bin目录,即可运行同步作业。
用datax自带检测脚本开始自检,自测命令:

python datax.py ../job/job.json

在这里插入图片描述
完成!
详见dataX安装与自测

2、下载源码后,用maven编译
详见datax安装与使用详解

由于楼主这边需要同步任务很多,这边需要装集群式dataX。即每台机器上都安装。

xshell多窗口执行命令:
1、选择排列方式,好方便同步命令时查看执行情况。
在这里插入图片描述
2、点击查看–>撰写–>撰写窗格在这里插入图片描述
在这里插入图片描述
至此,即可同时操作多窗口。
选择同时上传解压。

dataX-web部署

1、下载源码:

dataX Web

2 、增加存储仓库,更改配置

用idea打开后
做一下处理:
1、执行bin/db下面的datax_web.sql文件(注意更新语句有指定库名)
创建datax_web的数据库,如果是部署在linux服务器上,请先给linux安装mysql:
mysql -u用户 -p密码 查看是否有mysql。
在这里插入图片描述
没有的安装方式详见:安装mysql
在这里插入图片描述
2、修改项目配置
1.修改datax_admin下resources/application.yml文件,
将数据库改成上面你自己的datax_web数据库连接地址+修改日志配置+邮箱配置

在这里插入图片描述
2.修改datax_executor下resources/application.yml文件
修改日志路径,修改web(admin)服务的地址+修改executor服务的配置(主要是datax的pypath路径)

在这里插入图片描述
在这里插入图片描述
3.增加编辑启动类
在这里插入图片描述
如截图添加启动类:
com.wugui.datax.admin.DataXAdminApplication

评论 7
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值