datax读mysql写hdfs kerberos

### 数据传输工具DataX实现从MySQL到启用了Kerberos认证的HDFS的数据迁移 要通过DataX将数据从MySQL迁移到启用了Kerberos认证的HDFS中，需要完成以下几个方面的配置： #### 1. 配置环境支持Kerberos认证 为了使DataX能够正常访问启用Kerberos认证的HDFS集群，需确保以下条件满足： - **核心文件配置** 在所有节点上的`core-site.xml`文件中添加如下属性以开启Kerberos认证[^3]： ```xml <property> <name>hadoop.security.authentication</name> <value>kerberos</value> </property> <property> <name>hadoop.security.authorization</name> <value>true</value> </property> ``` - **HDFS站点配置** 查看并确认`hdfs-site.xml`中的Kerberos相关设置是否正确。例如，以下是常见的配置项[^2]: ```xml <property> <name>dfs.namenode.keytab.file</name> <value>/etc/security/keytabs/nn.service.keytab</value> </property> <property> <name>dfs.namenode.kerberos.principal</name> <value>nn/[email protected]</value> </property> ``` - **KeyTab文件和Principal准备** 确保已准备好用于客户端身份验证的keytab文件以及对应的principal名称。 #### 2. DataX插件配置调整 在DataX的任务JSON配置文件中，针对目标端（即HDFS Writer部分），应加入必要的Kerberos认证参数。具体方法如下所示： ##### JSON模板示例 ```json { "job": { "content": [ { "reader": { "name": "mysqlreader", "parameter": { "username": "your_username", "password": "your_password", "column": ["*"], "connection": [{ "jdbcUrl": ["jdbc:mysql://localhost:3306/testdb"], "table": ["test_table"] }] } }, "writer": { "name": "hdfswriter", "parameter": { "defaultFS": "hdfs://namenode_host:port/", "fileType": "text", "path": "/user/datax/output", "fileName": "output_file", "fieldDelimiter": "\t", "writeMode": "overwrite", "hadopConfig": { "hadoop.security.authentication": "kerberos", "dfs.namenode.kerberos.principal": "nn/[email protected]", "dfs.namenode.keytab.file": "/etc/security/keytabs/nn.service.keytab" } } } } ], "setting": { "speed": { "channel": "3" } } } } ``` 上述配置说明： - `defaultFS`: HDFS默认地址。 - `hadopConfig`: 提供额外的Hadoop/Kerberos配置选项来支持安全模式下的连接[^4]。 #### 3. 执行前的身份验证初始化 运行任务之前，先执行kinit命令加载用户的ticket缓存以便后续操作可以顺利进行： ```bash kinit your_principal_name -kt /path/to/your_keytab_file ``` #### 4. 启动DataX作业 最后按照常规方式启动DataX脚本即可完成整个流程： ```bash python datax.py job.json ``` --- ###