Hive使用动态分区插入数据

WakeUpCcc

于 2022-10-23 22:54:23 发布

阅读量2k

点赞数

CC 4.0 BY-SA版权

文章标签： hive 大数据 hadoop 数据仓库

本文链接：https://blog.csdn.net/m0_57468722/article/details/127808211

本文介绍了Hive如何使用动态分区插入数据，以提高效率。当需要按日期分区并将数据插入大量数据的表时，动态分区功能能根据查询参数自动创建分区。举例说明了从临时表trade_detail_his向目标表Historical插入数据的过程，并强调了两点注意事项：1) 分区字段必须放在所有字段的最后，且顺序要正确；2) 字段类型需保持一致，否则数据会被null填充。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

往hive分区表中插入数据时，如果一张表的数据量非常大，需要按照日期分区，且将指定日期的数据插入到对应分区，如果使用进来分区一天一天的手工输入，效率极低，故hive提供了一个动态分区功能，其可以基于查询参数的位置去推断分区的名称，从而建立分区。

假如有两张表临时表 trade_detail_his 和目标表 Historical 表

create table Historical (Id string) partitioned by (dt string) row format delimited fields terminated by ',';

然后往目标表Historical 插入数据

SET hive.exec.dynamic.partition=true;                                    --开启动态分区，默认是false
SET hive.exec.dynamic.partition.mode=nonstric;                           -- 开启允许所有分区都是动态的，否则必须要有静态分区才能使用。
insert into  Historical partition(dt)
select id  as id, product_code as dt from default.trade_detail_his;      --写成多行数据insert进去，目前也在找原因中

查看分区信息