Linux中DataX使用第一期

已于 2025-01-25 11:17:53 修改
阅读量648 收藏 7
点赞数 15
CC 4.0 BY-SA版权
分类专栏： DataX 文章标签： java 数据库 python
于 2025-01-17 23:41:56 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/m0_60821938/article/details/145215546

简介

  DataX 是阿里云 DataWorks数据集成 的开源版本，在阿里巴巴集团内被广泛使用的离线数据同步工具/平台。DataX 实现了包括 MySQL、Oracle、OceanBase、SqlServer、Postgre、HDFS、Hive、ADS、HBase、TableStore(OTS)、MaxCompute(ODPS)、Hologres、DRDS, databend 等各种异构数据源之间高效的数据同步功能。

特色

  DataX本身作为数据同步框架，将不同数据源的同步抽象为从源头数据源读取数据的Reader插件，以及向目标端写入数据的Writer插件，理论上DataX框架可以支持任意数据源类型的数据同步工作。同时DataX插件体系作为一套生态系统, 每接入一套新数据源该新加入的数据源即可实现和现有的数据源互通。

环境准备

  • Linux服务器
  • JDK(1.8以上，推荐1.8)
  • Python(2或3都可以)
  • Apache Maven (推荐3.x版本，用来编译项目，本文用不到，后续更高级的使用才会用)

资源下载

  • 源码用来查看文档和个性化开发（下期重点说明）

 源码下载地址

  • DataX工具包，快速上手，配置相关参数就可使用（本期重点说明）

最低0.47元/天 解锁文章

200万优质内容无限畅学
Linux中DataX使用第二期
秉承初心博客
01-25 978
紧接着上期关于DataX工具的基础使用，本期来看看DataX的源码部分。因为源码内容比较多，于是会用几期进行理解，目的是为了更好的了解Datax。本期主要讲了源码的一些基础使用和调试，后续会进一步的深入。这也是年前的最后一篇文章，希望大家新的一年，如蛇般灵活，抓住每一个机遇，如蛇般睿智，化解每一次挑战。新年快乐，大吉大利。
DataX在Linux命令模式环境下实现定时调度
PythonRecord的博客
03-10 949
DataX 是阿里巴巴推出的开源异构数据源，致力于实现包括关系型数据库(MySQL、Oracle等) 和 HDFS、Hive、ODPS、HBase、FTP等各种异构数据源之间稳定高效的数据同步功能。
Linux下DataX的使用(二)
susu要快乐的博客
11-02 649
datax的使用
Datax&datax-web安装使用
qq_37480069的博客
04-06 1656
datax&datax-web超详细安装教程，如有疑问欢迎骚扰。
DataX教程（二）
weixin_37605393的博客
08-14 2625
DataX-Web 使用界面操作数据同步
Linux中DataX使用第三期
秉承初心博客
02-07 1102
紧接着上期关于DataX源码的初步了解，本期来自己定义一个简单的数据读取和数据写入插件。目的为了方便了解DataX工作的流程。本期主要说了怎么去开发一个属于自己的插件，核心就是对Datax开发插件配置以及Job和Task这个两个类的生命周期的了解，这样可以在已有的插件基础上进行快速的改造。下期来说说怎么通过DataX生命周期来进行各种数据的传输。
Linux中DataX使用第四期
秉承初心博客
02-21 768
紧接着上期关于定义如何一个简单的插件，本期了解下关系型数据库的数据读取和数据写入。这段代码的主要功能是从数据库中读取数据，并通过性能跟踪记录查询和读取过程的时间。它使用了JDBC来连接和查询数据库，并通过发送读取到的记录。代码中还包含了异常处理和资源释放的逻辑，确保在发生异常时能够正确处理并释放数据库连接。这段代码的主要目的是从中读取记录读取数据，然后按照配置的批量大小和字节数，将数据写入目标数据库。对于关系型数据库DataX基本能实现，如果有定制化需求可以通过对上面的代码模块进行复制后改造来实现。
linux上datax 安装以及使用
寂夜了无痕的博客
08-24 9801
linux上datax 安装以及使用
高效数据同步工具DataX的使用
Sherlock1020的博客
08-09 2740
DataX 是阿里云 DataWorks 数据集成 的开源版本，主要就是用于实现数据间的离线同步。DataX 致力于实现包括关系型数据库（MySQL、Oracle 等）、HDFS、Hive、ODPS、HBase、FTP 等 各种异构数据源（即不同的数据库） 间稳定高效的数据同步功能。......
总结：在Linux上通过datax同步Oracle数据到tidb上（包含Linux上部署oracle，tidb，mysql）
qq_44767605的博客
12-29 984
datax mysql oracle tidb
datax3.0在linux下配置并部署datax-web可视化工具教程
04-24 1万+
datax3.0在linux下配置并部署datax-web可视化工具教程
DataX的简单使用(linux)
weixin_44013965的博客
05-06 1112
使用条件 python版本(本人使用centos7默认安装的python版本2.7.5) datax工具包(http://datax-opensource.oss-cn-hangzhou.aliyuncs.com/datax.tar.gz) jdk1.8 数据同步的两个表的结构及字段类型要一致或者兼容 使用步骤 解压datax工具到指定目录(自定义,没有硬性要求,可以自己创建),解压后目录结构如下 编写数据同步脚本(模板如下) mysql.json(数据库连接的是在linux上安装的mysql,创建
DataX | 在Liunx上安装和使用
慌途L
10-25 1万+
一、DataX3.0 概述和核心优势 参考官网，这里就不多做介绍：DataX3.0介绍. DataX快速开始说明：快速开始文档. 二、Liunx 上安装DataX 1.查看当前linux是什么系统版本： 查看系统的名称，命令：uname 查看具体的系统版本，命令：cat /etc/redhat-release 2.查看是否具备jdk和python环境： 查看jdk版本，命令：java -version 查看python的版本，命令：python -v 注意： JDK(1.6以上，1.8即可)
Datax使用总结-001
七夏的博客
03-26 8456
安装部署就不说了，网上一搜一大堆，直接进入正文 linux 安装: https://blog.csdn.net/paicmis/article/details/53563824 windows安装 :https://blog.csdn.net/gjf281/article/details/53350791 1、优化部分，大多网上走的都是固定的调优方式，此处只添加某些遗漏 全局调优 ...
Linux下传入不同的参数，调用DATAX执行数据同步
数据挖掘者DATAMiner
09-01 3487
#!/bin/bash #!/usr/bin/env python source /etc/profile if [ $# -eq 3 ] ;then         echo "输入参数为3"         echo "开始日期:$1"         echo "结束日期:$2"         echo "同步参数:$3"         echo "开始执行数据同步"      ...
dataX 在Linux的安装部署与测试方案
colby_chenlun的博客
08-24 4077
环境准备 Hadoop2.7.3 Hive1.2.1 JDK1.8 Python2.7 centOS系统默认自带 Mysql5.7 dataX3.0 下载地址：http://datax-opensource.oss-cn-hangzhou.aliyuncs.com/datax.tar.gz 测试脚本准备 Mysql建表脚本与数据脚本 DROP TABLE...
Linux传参调用DATAX执行数据同步
yangbosos的博客
04-14 1400
#!/bin/bash #!/usr/bin/env python source /etc/profile if [ $# -eq 3 ] ;then echo "输入参数为3" echo "开始日期:$1" echo "结束日期:$2" echo "同步参数:$3" echo "开始执行数据同步" ...
DataX使用指南
热门推荐
陪你听风的博客
05-08 11万+
简介 DataX 是阿里巴巴集团内被广泛使用的离线数据同步工具/平台，实现包括 MySQL、Oracle、HDFS、Hive、OceanBase、HBase、OTS、ODPS 等各种异构数据源之间高效的数据同步功能。DataX采用了框架 + 插件 的模式，目前已开源，代码托管在github。 DataX安装部署及小试 1.下载压缩包： 下载页面地址：https://github.com/a...
datax windows下安装及使用（linux）
china_xin1的博客
09-27 6245
安装前，需要以下依赖环境： 1、下载datax，下载的为压缩包文件： https://github.com/alibaba/DataX 2、将datax压缩包解压在安装目录： 3、进入windows中cmd命令环境中： 解压后，可直接运行样例，查看是否安装成功： 出现如下类似如下所示： 4、配置/job/job.json文件内容： 若将数据从MySQL发送数据到...
linux，datax 3.0 配置使用的jdk是指定目录而不是环境变量
最新发布
06-12
嗯，用户现在的问题很明确，是要在Linux系统配置DataX3.0时指定特定目录的JDK，而不是使用环境变量中的JDK。从问题来看，用户应该是个运维人员或者数据工程师，正在部署DataX这个ETL工具。用户引用了两个技术文档...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

秉承初心

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值