hudi简单使用教程

一、功能简介
GBase 8a新增支持创建hudi Catalog,支持通过Catalog 实现 hudi表的读写功能,实现 GBase 8a 直接读取hudi表数据以及直接写入数据到hudi表。GBase 8a 新增支持Hudi 外部表功能,支持创建、查看、删除、查询Hudi 外部表,可以导入Hudi 外部表数据到8a的内部表,也支持向Hudi外部表写入数据。
二、简单应用
(1)往hudi插入数据
1.hudi写入数据
docker exec -it adhoc-1 bash
spark-shell -jars SHUDI_UTILITIES_BUNDLE --conf “spark.serilizer=org.apache.spark.serializer.KryoSerializer”
import org.apache.hudi.DataSourceWriteOptions
import org.apache.hudi.config.HoodieWriteConfig
import org.apache.hudi.common.model.HoodiTableType import org.apache.spark.sql. {SparkSession, Row}
import java.sql. Date
import java.sql. Timestamp
import org.apache.spark.sql.types. {StructType, StructField, IntegerType, StringType, DoubleType, DateType, TimestampType, DecimalType, ByteType, ShortType, LongType, FloatType, Booleant ype}
val data = Seq(
Row (“time”, java.sql. Date.valueof (“2022-10-10”)) .
Row (“tia fli”, java.sql.Date.valueOf (“9999-12-31”)) ,
Row ("ti1i ",j

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值