flink sqlClient提交hiveIceberg
环境准备
组件名 | 版本 |
---|---|
flink客户端 | 1.14.4-2.12 |
hadoop集群 | 3.1.4 |
hive客户端 | 3.1.2 |
iceberg | iceberg-flink-runtime-1.14-0.13.2.jar |
iceberg-hive依赖 | iceberg-hive-runtime-0.13.2.jar |
sqlclient启动前准备
sqlclient启动有两种方式,per-job、session。
session模式需先启动一个session,启动方式如下:
/home/hadoop/flink/bin/yarn-session.sh \
-t /home/hadoop/flink/sqlplugins \
-s 2 -jm 5120 -tm 5120 -qu default -nm iceberg_test1 -d
per-job模式需在flink客户端的flink-conf.yaml文件中添加如下参数:
execution.target: yarn-per-job
注意:
flink-conf.yaml文件中还设置了其他内容如下
classloader.resolve-order: parent-first
classloader.check-leaked-classloader: false
#kerberos相关配置