datax mysql-hive hive-mysql

datax 资料
第1章 DataX简介
1.1 DataX概述
DataX 是阿里巴巴开源的一个异构数据源离线同步工具，致力于实现包括关系型数据库(MySQL、Oracle等)、HDFS、Hive、ODPS、HBase、FTP等各种异构数据源之间稳定高效的数据同步功能。
源码地址：https://github.com/alibaba/DataX
1.2 DataX支持的数据源
DataX目前已经有了比较全面的插件体系，主流的RDBMS数据库、NOSQL、大数据计算系统都已经接入，目前支持数据如下图。
类型 数据源 Reader(读) Writer(写)
RDBMS 关系型数据库 MySQL √ √
Oracle √ √
OceanBase √ √
SQLServer √ √
PostgreSQL √ √
DRDS √ √
通用RDBMS √ √
阿里云数仓数据存储 ODPS √ √
ADS √
OSS √ √
OCS √ √
NoSQL数据存储 OTS √ √
Hbase0.94 √ √
Hbase1.1 √ √
Phoenix4.x √ √
Phoenix5.x √ √
MongoDB √ √
Hive √ √
Cassandra √ √
无结构化数据存储 TxtFile √ √
FTP √ √
HDFS √ √
Elasticsearch √
时间序列数据库 OpenTSDB √
TSDB √ √
第2章 DataX架构原理
2.1 DataX设计理念
为了解决异构数据源同步问题，DataX将复杂的网状的同步链路变成了星型数据链路，DataX作为中间传输载体负责连接各种数据源。当需要接入一个新的数据源的时候，只需要将此数据源对接到DataX，便能跟已有的数据源做到无缝数据同步。

2.2 DataX框架设计
DataX本身作为离线数据同步框架，采用Framework + plugin架构构建。将数据源读取和写入抽象成为Reader/Writer插件，纳入到整个同步框架中。

2.3 DataX运行流程
下面用一个DataX作业生命周期的时序图说明DataX的运行流程、核心概念以及每个概念之间的关系。

2.4 DataX调度决策思路
举例来说，用户提交了一个DataX作业，并且配置了总的并发度为20，目的是对一个有100张分表的mysql数据源进行同步。DataX的调度决策思路是：
1）DataX Job根据分库分表切分策略，将同步工作分成100个Task。
2）根据配置的总的并发度20，以及每个Task Group的并发度5，DataX计算共需要分配4个TaskGroup。
3）4个TaskGroup平分100个Task，每一个TaskGroup负责运行25个Task。
2.5 DataX与Sqoop对比
功能 DataX Sqoop
运行模式 单进程多线程 MR
分布式 不支持，可以通过调度系统规避 支持
流控 有流控功能 需要定制
统计信息 已有一些统计，上报需定制 没有，分布式的数据收集不方便
数据校验 在core部分有校验功能 没有，分布式的数据收集不方便
监控 需要定制 需要定制
第3章 DataX部署
1）下载DataX安装包并上传到hadoop102的/opt/software
下载地址：http://datax-opensource.oss-cn-hangzhou.aliyuncs.com/datax.tar.gz
2）解压datax.tar.gz到/opt/module
[atguigu@hadoop102 software]$ tar -zxvf datax.tar.gz -C /opt/module/
3）自检，执行如下命令
[atguigu@hadoop102 ~]$ python /opt/module/datax/bin/datax.py /opt/module/datax/job/job.json
出现如下内容，则表明安装成功
……
2021-10-12 21:51:12.335 [job-0] INFO JobContainer -
任务启动时刻 : 2021-10-12 21:51:02
任务结束时刻 : 2021-10-12 21:51:12
任务总计耗时 : 10s
任务平均流量 : 253.91KB/s
记录写入速度 : 10000rec/s
读出记录总数 : 100000
读写失败总数 : 0
第4章 DataX使用
4.1 DataX使用概述
4.1.1 DataX任务提交命令
DataX的使用十分简单，用户只需根据自己同步数据的数据源和目的地选择相应的Reader和Writer，并将Reader和Writer的信息配置在一个json文件中，然后执行如下命令提交数据同步任务即可。
[atguigu@hadoop102 datax]$ python bin/datax.py path/to/your/job.json
4.2.2 DataX配置文件格式
可以使用如下命名查看DataX配置文件模板。
[atguigu@hadoop102 datax]$ python bin/datax.py -r mysqlreader -w hdfswriter
配置文件模板如下，json最外层是一个job，job包含setting和content两部分，其中setting用于对整个job进行配置，content用户配置数据源和目的地。

Reader和Writer的具体参数可参考官方文档，地址如下：
https://github.com/alibaba/DataX/blob/master/README.md

4.2 同步MySQL数据到HDFS案例
案例要求：同步gmall数据库中base_province表数据到HDFS的/base_province目录
需求分析：要实现该功能，需选用MySQLReader和HDFSWriter，MySQLReader具有两种模式分别是TableMode和QuerySQLMode，前者使用table，column，where等属性声明需要同步的数据；后者使用一条SQL查询语句声明需要同步的数据。
下面分别使用两种模式进行演示。
4.2.1 MySQLReader之TableMode
1）编写配置文件
（1）创建配置文件base_province.json
[atguigu@hadoop102 ~]$ vim /opt/module/datax/job/base_province.json
（2）配置文件内容如下
{
“job”: {
“content”: [
{
“reader”: {
“name”: “mysqlreader”,
“parameter”: {
“column”: [
“id”,
“name”,
“region_id”,
“area_code”,
“iso_code”,
“iso_3166_2”
],
“where”: “id>=3”,
“connection”: [
{
“jdbcUrl”: [
“jdbc:mysql://hadoop102:3306/gmall”
],
“table”: [
“base_province”
]
}
],
“password”: “000000”,
“splitPk”: “”,
“username”: “root”
}
},
“writer”: {
“name”: “hdfswriter”,
“parameter”: {
“column”: [
{
“name”: “id”,
“type”: “bigint”
},
{
“name”: “name”,
“type”: “string”
},
{
“name”: “region_id”,
“type”: “s