Hive学习总结

最新推荐文章于 2022-05-28 07:09:06 发布

Code_My_Dream

最新推荐文章于 2022-05-28 07:09:06 发布

阅读量730

点赞数

分类专栏： Hadoop学习

本文链接：https://blog.csdn.net/Code_My_Dream/article/details/97802179

版权

本文介绍了Hive作为数据仓库的特性，对比了数据库和数据仓库的区别，详细阐述了Hive的搭建过程，元数据存储在MySQL中。接着讲解了Hive的DDL操作，包括创建数据库、表以及内部表和外部表的差异。重点讨论了Hive的分区概念，通过静态和动态分区的实例展示了数据加载。最后提到了Hive的分桶、视图、权限管理和一些实用功能。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

1，hive是数据仓库，数据库和数据仓库的区别？

数据库：传统的关系型数据库的应用，主要是基本的、日常的事务处理，更关注业务交易处理（OLTP）

数据仓库：数据仓库支持复杂的分析操作，侧重决策支持，并且提供直观易懂的查询效果，更关注数据分析层面（OLAP）

2，hive搭建， hive搭建是按照元数据的存储和管理进行搭建的，hive将元数据保存到mysql。

3，hive相关的DDL操作

3.1创建数据库：create database databaseName

3.2创建表：

CREATE [EXTERNAL] TABLE [IF NOT EXISTS] table_name

　　[(col_name data_type [COMMENT col_comment], ...)]

　　[COMMENT table_comment]

　　[PARTITIONED BY (col_name data_type [COMMENT col_comment], ...)]

　　[CLUSTERED BY (col_name, col_name, ...)

　　[SORTED BY (col_name [ASC|DESC], ...)] INTO num_buckets BUCKETS]

　　[ROW FORMAT row_format]

　　[STORED AS file_format]

　　[LOCATION hdfs_path]

•CREATE TABLE 创建一个指定名字的表。如果相同名字的表已经存在，则抛出异常；用户可以用 IF NOT EXIST 选项来忽略这个异常
•EXTERNAL 关键字可以让用户创建一个外部表，在建表的同时指定一个指向实际数据的路径（LOCATION）
•LIKE 允许用户复制现有的表结构，但是不复制数据
•COMMENT可以为表与字段增加描述

•PARTITIONED BY 指定分区
•ROW FORMAT 
　　DELIMITED [FIELDS TERMINATED BY char] [COLLECTION ITEMS TERMINATED BY char] 
　　　　MAP KEYS TERMINATED BY char] [LINES TERMINATED BY char] 
　　　　| SERDE serde_name [WITH SERDEPROPERTIES 
　　　　(property_name=property_value, property_name=property_value, ...)] 
　　用户在建表的时候可以自定义 SerDe 或者使用自带的 SerDe。如果没有指定 ROW FORMAT 或者 ROW FORMAT DELIMITED，将会使用自带的 SerDe（正则）。在建表的时候，
用户还需要为表指定列，用户

最低0.47元/天解锁文章