idea本地debug调试DATAX插件运行

本文介绍如何使用DataX进行数据采集插件的开发与本地调试。通过配置IDEA环境,实现对DataX插件的高效开发及调试流程。

摘要生成于 C知道 ,由 DeepSeek-R1 满血版支持, 前往体验 >

datax官方github地址:GitHub - alibaba/DataX: DataX是阿里云DataWorks数据集成的开源版本。

接触datax是看重他的数据采集功能和可以扩展插件的功能,根据官方说明,DATAX是以python来调用插件的运行json配置,但对于二次开发插件的同学来说,需要本地调试。那么根据我的经验,贴出我的调试方式,有问题可以联系

1.源码部署方式请查阅 DataX/userGuid.md at master · alibaba/DataX · GitHub

 2.将源码下载放入idea中后,执行上图的命令打包,如果要运行。需要从源码入口类Engine.java运行,点击右上角Edit Configuration

 点击 + 号,按照下图配置,添加VM options,Program arguments

 VM options处填入  -Ddatax.home=C:\Users\clj\Documents\DataXPlus\target\datax\datax,具体路径根据你自己项目而定

Program arguments 填入 -mode standalone -jobid -1 -job C:\Users\clj\Documents\DataXPlus\json\httpreaderToMysql.json    其中json文件的路径根据你自己的文件地址而定

改完如下图

 

点击OK保存,点击运行按钮或者debug启动按钮,打入断点即可调试

 

 

需要注意的时,这种方式调试如果修改了代码,需要重新在DATAX目录执行打包后,新的代码才能生效,才能进入断点。

 

评论 4
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

8一天不

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付:¥1
获取中
扫码支付

您的余额不足,请更换扫码支付或充值

打赏作者

实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值