hive原理及使用:建表、文件格式、外表、分区、分桶,删除数据、更改表的属性

本文详细介绍了Hive的工作原理,包括SQL查询如何转换为MapReduce作业,元数据信息的管理,以及Hive的建表方式、文件格式、内外部表、分区和分桶的使用。此外,还讨论了Hive中的数据加载、导出、删除和表属性修改等操作,展示了如何高效管理和操作Hive数据。

摘要生成于 C知道 ,由 DeepSeek-R1 满血版支持, 前往体验 >

 一、Hive系统架构

 Hive 底层执行架构

图片

在 Hive 这一侧,总共有五个组件:

  • UI:用户界面。可看作我们提交SQL语句的命令行界面。
  • DRIVER:驱动程序。接收查询的组件。该组件实现了会话句柄的概念。
  • COMPILER:编译器。负责将 SQL 转化为平台可执行的执行计划。对不同的查询块和查询表达式进行语义分析,并最终借助表和从 metastore 查找的分区元数据来生成执行计划.
  • METASTORE:元数据库。存储 Hive 中各种表和分区的所有结构信息。
  • EXECUTION ENGINE:执行引擎。负责提交 COMPILER 阶段编译好的执行计划到不同的平台上。

上图的基本流程是:

  1. 步骤1:UI 调用 DRIVER 的接口;
  2. 步骤2:DRIVER 为查询创建会话句柄,并将查询发送到 COMPILER(编译器)生成执行计划;
  3. 步骤3和4:编译器从元数据存储中获取本次查询所需要的元数据,该元数据用于对查询树中的表达式进行类型检查&#x
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

四月天03

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付:¥1
获取中
扫码支付

您的余额不足,请更换扫码支付或充值

打赏作者

实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值