【大数据入门核心技术-Iceberg】（四）Iceberg与Spark整合

已于 2025-06-14 22:35:53 修改
阅读量597 收藏
点赞数
CC 4.0 BY-SA版权
分类专栏： 大数据技术入门到21天通关 文章标签： 大数据 spark 分布式 iceberg hudi 数据糊 数据湖
于 2023-10-17 17:58:04 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/forest_long/article/details/133889701
本文介绍了如何将Apache Iceberg与Spark进行整合，包括下载部署Iceberg Spark运行时库，配置Hive和Hadoop Catalog，以及如何进行SQL操作创建表。文章详细阐述了配置步骤，并提及了Iceberg表的元数据管理和原子性更新特性。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

一、下载部署


wget https://search.maven.org/remotecontent?filepath=org/apache/iceberg/iceberg-spark3-runtime/0.12.1/iceberg-spark3-runtime-0.12.1.jar

cp iceberg-spark3-runtime-0.12.1.jar /data/bigdata/spark-3.2.1/jars/

二、Spark 配置 Catalog


Spark中支持两种Catalog的设置：hive和hadoop，Hive Catalog就是Iceberg表存储使用Hive默认的数据路径，Hadoop Catalog需要指定Iceberg格式表存储路径。

vim spark-defaults.conf
1）Hive Catalog
spar

了解本专栏 订阅专栏 解锁全文 超级会员免费看
数据湖（十二）：Spark3.1.2与Iceberg0.12.1整合
Lansonli（蓝深李）的博客
07-02 2842
文章目录Spark3.1.2与Iceberg0.12.1整合一、​​​​​​​向pom文件导入依赖二、SparkSQL设置catalog配置三、使用Hive Catalog管理Iceberg表1、创建表2、插入数据3、查询数据4、删除表四、用Hadoop Catalog管理Iceberg表1、创建表2、插入数据3、查询数据4、创建对应的Hive表映射数据5、删除表Spark可以操作Iceberg数据湖，这里使用的Iceberg的版本为0.12.1，此版本与Spark2.4版本之上兼容。由于在Spark2.4
【大数据入门核心技术-Iceberg】（二）Iceberg与Hive整合
10-16 425
重启hadoop 、yarn 、hiveserver2。2、修改hive-site.xml。Iceberg提供一个开放通用的表格式（Table Format）实现方案，不和特定的数据存储、计算引擎绑定。目前大数据领域的常见数据存储（HDFS、S3...），计算引擎（Flink、Spark...）都可以接入Iceberg。 在生产环境中，可选择不同的组件搭使用。甚至可以不通过计算引擎，直接读取存在文件系统上的数据.Iceberg提供一个开放通用的表格式（Table Format）实现方案，不和特
Iceberg从入门到精通系列之二十一：Spark集成Iceberg
zhengzaifeidelushang的博客
02-01 2440
Spark 支持通过指定catalog-impl 属性来加载自定义Iceberg Catalog 实现。
数据湖之 Flink Spark 集成 iceberg
weixin_50213935的博客
07-08 1565
数据湖之 Flink Spark 集成 iceberg一、iceberg优点二、安装部署三、iceberg集成flink四、hive查询iceberg表五、spark集成iceberg表 一、iceberg优点 提供ACID事物，上游数据写入即可见，提供了 upsert、merge into 能力 支持计算引擎有 Spark、Flink、Presto 以及 Hive 支持 Parquet、Avro 以及 ORC 等存储格式 增量读取处理能力：支持通过流式方式读取增量数据，支持 Structed Strea
Iceberg Catalog 安装与配置指南
gitblog_00103的博客
04-05 613
Iceberg Catalog 安装与配置指南 iceberg-catalog A Rust implementation of the Iceberg REST Catalog specification. 项目地址: http...
数据湖Iceberg-简介(1)
jast
04-24 638
为了解决数据存储和计算引擎之间的适配的问题，Netflix开发了Iceberg，2018年11月16日进入Apache孵化器，2020 年5月19日从孵化器毕业，成为Apache的顶级项目。Iceberg是一个面向海量数据分析场景的开放表格式（Table Format）。表格式（Table Format）可以理解为元数据以及数据文件的一种组织方式，处于计算框架（Flink，Spark…）之下，数据文件之上。
Iceberg集成Spark
互联网知识分享
08-16 461
中的数据表采用了一种基于时间的分层存储结构，以便更高效地支持增量数据写入和查询。中，写入操作是原子的，并且是幂等的。通过创建快照，可以在不中断正在进行的查询的同时进行数据写入操作。中，数据表是一种逻辑上的概念，它是由一组数据文件和一组元数据文件组成的。数据文件包含了实际的数据内容，而元数据文件则用于记录整个数据表的结构和统计信息。是一个开源的数据表管理库，它是为了更好地处理大规模数据和分布式计算而设计的。提供了强大的数据表管理功能，包括元数据管理、事务支持和灵活的查询操作。支持更新数据表中的数据。
Iceberg从入门到精通系列之十五：Spark集成Iceberg
zhengzaifeidelushang的博客
07-02 1243
Hive Catalog就是Iceberg表存储使用Hive默认的数据路径，Hadoop Catalog需要指定Iceberg格式表存储路径。复制hive配置文件到Iceberg的目录下。spark-env.sh中添加hive配置。
【大数据入门核心技术-Iceberg】（十）Iceberg与Spark整合，并默认使用hive的catalog
06-14 101
本文介绍了Iceberg与Spark整合的配置与测试方法，包括环境准备、核心配置参数调整以及简单测试验证。首先需完成Iceberg的安装部署，然后在Spark中配置Iceberg相关参数，如catalog类型、仓库路径等。通过执行Spark SQL操作测试Iceberg表创建、数据写入和查询功能，验证整合是否成功。该过程为大数据环境下使用Iceberg构建数据湖提供了实践指导。
【大数据入门核心技术-Iceberg】（十一）Iceberg与Spark整合后的增删改查spark-sql语句
06-15 28
本文介绍了Iceberg数据表的基本操作，包括创建分区表、数据插入、更新、查询和删除等操作。主要内容包括：1）创建按年和月分区的sales表；2）插入测试数据并执行更新操作；3）演示MERGE操作实现数据合并，包括匹配记录的更新和非匹配记录的插入；4）提供了完整的SQL示例，展示了从表创建到数据操作的完整流程。这些操作展示了Iceberg表处理数据的基本方法，特别是分区表的管理和合并操作的使用。
【大数据入门核心技术-Iceberg】（十二）Iceberg与Spark整合，并默认使用hive的catalog
最新发布
06-15 10
【大数据入门核心技术-Iceberg】（十二）Iceberg与Spark整合，并默认使用hive的catalog。【大数据入门核心技术-Iceberg】（十二）Iceberg与Spark整合，并默认使用hive的catalog。【大数据入门核心技术-Iceberg】（十二）Iceberg与Spark整合，并默认使用hive的catalog。
【Iceberg分析】Spark集成Iceberg采集输出
顧棟的博客
10-07 925
Spark集成Iceberg采集输出验证
数据湖（十五）：Spark与Iceberg整合写操作
Lansonli（蓝深李）的博客
07-07 1750
文章目录Spark与Iceberg整合写操作一、​​​​​​​INSERT INTO二、MERGE INTO1、首先创建a表和b表，并插入数据2、使用MERGE INTO 语法向目标表更新、删除、新增数据3、​​​​​​​​​​​​​​INSERT OVERWRITE四、DELETE FROM五、​​​​​​​​​​​​​​UPDATE六、DataFrame API 写入Iceberg表"insert into"是向Iceberg表中插入数据，有两种语法形式："INSERT INTO tbl VALUES
Iceberg概述
wocawuliao的专栏
11-05 1065
背景 随着大数据领域的不断发展, 越来越多的概念被提出并应用到生产中而数据湖概念就是其中之一, 其概念参照阿里云的简介: 数据湖是一个集中式存储库, 可存储任意规模结构化和非结构化数据, 支持大数据和AI计算.数据湖构建服务（Data Lake Formation, DLF）作为云原生数据湖架构核心组成部分, 帮助用户简单快速地构建云原生数据湖解决方案. 数据湖构建提供湖上元数据统一管理、企业级权限控制, 并无缝对接多种计算引擎, 打破数据孤岛, 洞察业务价值. 数据湖解决方案中关键的一个环节就是数据存储和
数据湖（十四）：Spark与Iceberg整合查询操作
Lansonli（蓝深李）的博客
07-05 1883
文章目录Spark与Iceberg整合查询操作一、DataFrame API加载Iceberg中的数据二、查询表快照三、查询表历史 四、​​​​​​​​​​​​​​查询表data files五、​​​​​​​​​​​​​​查询Manifests六、​​​​​​​​​​​​​​查询指定快照数据七、根据时间戳查询数据八、​​​​​​​​​​​​​​回滚快照九、​​​​​​​​​​​​​​合并Iceberg表的数据文件十、删除历史快照Spark操作Iceberg不仅可以使用SQL方式查询Iceberg中的数据，还
【Iceberg分析】Spark与Iceberg集成落地实践（一）
顧棟的博客
10-07 2036
iceberg表管理
数据湖之iceberg系列(五)-Spark实时处理数据
HANG.NIAN
12-05 1869
1 接收网络数据 将数据实时写入到iceberg表中 开启nc 服务用于模拟数据输出 nc -lk 9999 2 spark实时读取数据将数据写入到iceberg表中 // 获取spark对象 val spark = SparkSession.builder() .config("spark.sql.catalog.hadoop_prod.type", "hadoop") // 设置数据源类别为hadoop .config("spark.sql.cat.
实践数据湖iceberg 第十五课 spark3安装与集成iceberg0.13 (jersey包冲突，安装完成)
spark_dev的博客
02-13 2916
系列文章目录 实践数据湖iceberg 第一课 入门 实践数据湖iceberg 第二课 iceberg基于hadoop的底层数据格式 实践数据湖iceberg 第三课 在sqlclient中，以sql方式从kafka读数据到iceberg 实践数据湖iceberg 第四课 在sqlclient中，以sql方式从kafka读数据到iceberg（升级版本到flink1.12.7） 实践数据湖iceberg 第五课 hive catalog特点 实践数据湖iceberg 第六课 从kafka写入到iceber
Spark + iceberg
mhbsoft的博客
10-27 2006
由于spark版本问题，所以使用 iceberg-api操作创建表。 IcebergApi .java package org.example; import org.apache.hadoop.conf.Configuration; import org.apache.iceberg.Schema; import org.apache.iceberg.Table; import org.apache.iceberg.catalog.Catalog; import org.apache.iceberg..
大数据核心技术概览与实践指南
- IceBerg整合Spark：讲解Iceberg在Spark生态系统中的应用，包括其优势和集成步骤。 4. 存储相关技术 - 包含rocksdb、Hbase、BookKeeper、Zookeeper等，这些是构建大规模分布式存储系统的重要组件。 5. Hadoop...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

forest_long

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值