dataX安装
1、直接下载dataX.tar.gz,下载后解压至本地某个目录,进入bin目录,即可运行同步作业。
用datax自带检测脚本开始自检,自测命令:
python datax.py ../job/job.json
完成!
详见dataX安装与自测
2、下载源码后,用maven编译
详见datax安装与使用详解
由于楼主这边需要同步任务很多,这边需要装集群式dataX。即每台机器上都安装。
xshell多窗口执行命令:
1、选择排列方式,好方便同步命令时查看执行情况。
2、点击查看–>撰写–>撰写窗格
至此,即可同时操作多窗口。
选择同时上传解压。
dataX-web部署
1、下载源码:
2 、增加存储仓库,更改配置
用idea打开后
做一下处理:
1、执行bin/db下面的datax_web.sql文件(注意更新语句有指定库名)
创建datax_web的数据库,如果是部署在linux服务器上,请先给linux安装mysql:
mysql -u用户 -p密码 查看是否有mysql。
没有的安装方式详见:安装mysql
2、修改项目配置
1.修改datax_admin下resources/application.yml文件,
将数据库改成上面你自己的datax_web数据库连接地址+修改日志配置+邮箱配置
2.修改datax_executor下resources/application.yml文件
修改日志路径,修改web(admin)服务的地址+修改executor服务的配置(主要是datax的pypath路径)
3.增加编辑启动类
如截图添加启动类:
com.wugui.datax.admin.DataXAdminApplication