hive小文件治理

最新推荐文章于 2025-05-27 11:20:54 发布

bingoabin

最新推荐文章于 2025-05-27 11:20:54 发布

阅读量446

点赞数 1

CC 4.0 BY-SA版权

分类专栏： hadoop 数据库大数据文章标签： hive小文件小文件治理小文件 hdfs小文件

本文链接：https://blog.csdn.net/bingoxubin/article/details/116351026

大数据同时被 3 个专栏收录

65 篇文章 ¥49.90 ¥99.00

订阅专栏

超级会员免费看

hadoop

47 篇文章 ¥49.90 ¥99.00

订阅专栏

超级会员免费看

数据库

20 篇文章 ¥49.90 ¥99.00

订阅专栏

超级会员免费看

本文探讨了Hive中遇到的小文件问题及其原因，并提出了两种解决方案：源头遏制，包括分析Spark AQE的工作原理和动态合并shuffle分区；以及落地合并，详细介绍了方案步骤和实际效果。通过这些方法，旨在优化HDFS性能，提升数据处理效率。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

hive小文件治理

背景

hive中的数据最终落地到HDFS上，在HDFS上不可避免的有小文件产生，小文件问题，会产生诸多问题，比如：
1.对底层存储HDFS来说，HDFS本身就不适合存储大量小文件，小文件过多会导致namenode元数据特别大, 占用太多内存，严重影响HDFS的性能
2.对hive来说，在进行查询时，每个小文件都会当成一个块，启动一个Map任务来完成，而一个Map任务启动和初始化的时间远远大于逻辑处理的时间，就会造成很大的资源浪费。而且，同时可执行的Map数量是受限的。

原因

产生小文件有诸多原因：
1.直接向hive表中插入数据，这种方式每次插入时都会产生一个文件，多次插入少量数据就会出现多个小文件，但是这种方式生产环境很少使用，可以说基本没有使用的
insert into table A values (1,'zhangsan',88),(2,'lisi',61)

了解本专栏

超级会员免费看