hive 元数据

一共有57张表
常用表说明

表名 说明 关联关系
version hive版本信息，hive-cli启动的时候会查询这张表
dbs hive所有数据库的基本信息 DB_ID与tbls表关联
database_params 存储数据库相关参数
tbls hive表、视图、索引表相关的信息
table_params 表、视图相关参数
tbl_privs 表、视图的授权信息
sds 保存文件存储的基本信息，如输入格式、是否压缩等
sd_params 保存hive存储的属性信息，创建表时候使用STORED BY ‘storage.handler.class.name’ [WITH SERDEPROPERTIES (…)指定
serdes 保存序列化使用的类信息
serde_params 保存序列化的一些属性、格式信息，如：行列分隔符
columns_v2 保存表对应的列的信息，如字段类型、字段顺序
partitions 表分区的基本信息，比如分区名 year=2019/month=07/day=22
partition_keys 存放分区表用于分区的字段信息(字段名、类型、注释) 比如 year
partition_key_vals 用于分区的字段的值 比如2019
partition_params 分区的属性信息
DB_PRIVS 数据库权限信息表，通过GRANT语句对数据库授权后，将会在这里存储
IDXS 索引表，存储Hive索引相关的元数据
INDEX_PARAMS 索引相关的属性信息
TAB_COL_STATS 表字段的统计信息，使用ANALYZE语句对表字段分析后记录在这里。
TBL_COL_PRIVS 表字段的授权信息
PART_PRIVS 分区的授权信息
PART_COL_STATS 分区字段的统计信息
PART_COL_PRIVS 分区字段的权限信息
FUNCS 用户注册的函数信息
FUNC_RU 用户注册函数的资源信息
database_params 是在CREATE DATABASE时候用WITH DBPROPERTIES (property_name=property_value, …)指定的参数
在创建表时候使用STORED BY ‘storage.handler.class.name’ [WITH SERDEPROPERTIES (…)指定。
导出hive所有表
SELECT a.name dbname, b.TBL_NAME tablename, c.param_value tbcomment
FROM v_bd_dbs a
join v_bd_tbls b on a.DB_ID=b.DB_ID
JOIN (select * from v_bd_table_params WHERE param_key=‘comment’) c on b.TBL_ID=c.TBL_ID
导出所有表所有字段
SELECT a.name dbname, b.TBL_NAME tablename, c.param_value tbcomment, e.COLUMN_NAME, e.TYPE_NAME, e.COMMENT col_comment
FROM v_bd_dbs a
join v_bd_tbls b on a.DB_ID=b.DB_ID
JOIN (select * from v_bd_table_params WHERE param_key=‘comment’) c on b.TBL_ID=c.TBL_ID
JOIN v_bd_sds d on b.SD_ID=d.SD_ID
join v_bd_columns_v2 e on d.CD_ID=e.CD_ID
WHERE a.name not in (‘atmp’, ‘tmp’, ‘default’)
AND a.name not like ‘stg%’
;
参考资料

1.Hive学习之路 （三）Hive元数据信息对应MySQL数据库表 - 扎心了，老铁 - 博客园
hive元数据库所有表及字段

表名 表注释 列名 列数据类型 列注释 示例数据
bucketing_cols #N/A SD_ID bigint(20)
bucketing_cols #N/A BUCKET_COL_NAME varchar(256)
bucketing_cols #N/A INTEGER_IDX int(11)
cds #N/A CD_ID bigint(20)
columns_v2 保存表对应的列的信息，如字段类型、字段顺序 CD_ID bigint(20) 字段信息ID 21
columns_v2 保存表对应的列的信息，如字段类型、字段顺序 COMMENT varchar(256) 字段注释 NULL
columns_v2 保存表对应的列的信息，如字段类型、字段顺序 COLUMN_NAME varchar(128) 字段名 air_port_duration
columns_v2 保存表对应的列的信息，如字段类型、字段顺序 TYPE_NAME varchar(4000) 字段类型 bigint
columns_v2 保存表对应的列的信息，如字段类型、字段顺序 INTEGER_IDX int(11) 字段顺序 119
compaction_queue #N/A CQ_ID bigint(20)
compaction_queue #N/A CQ_DATABASE varchar(128)
compaction_queue #N/A CQ_TABLE varchar(128)
compaction_queue #N/A CQ_PARTITION varchar(767)
compaction_queue #N/A CQ_STATE char(1)
compaction_queue #N/A CQ_TYPE char(1)
compaction_queue #N/A CQ_WORKER_ID varchar(128)
compaction_queue #N/A CQ_START bigint(20)
compaction_queue #N/A CQ_RUN_AS varchar(128)
completed_txn_components #N/A CTC_TXNID bigint(20)
completed_txn_components #N/A CTC_DATABASE varchar(128)
completed_txn_components #N/A CTC_TABLE varchar(128)
completed_txn_components #N/A CTC_PARTITION varchar(767)
database_params 存储数据库相关参数 DB_ID bigint(20) 数据库ID 1
database_params 存储数据库相关参数 PARAM_KEY varchar(180) 参数名 createdby
database_params 存储数据库相关参数 PARAM_VALUE varchar(4000) 参数值 root
dbs hive所有数据库的基本信息 DB_ID bigint(20) 数据库ID 1
dbs hive所有数据库的基本信息 DESC varchar(4000) 数据库描述 Default  Hive database
dbs hive所有数据库的基本信息 DB_LOCATION_URI varchar(4000) 数据HDFS路径 hdfs://193.168.1.75:9000/test-warehouse
dbs hive所有数据库的基本信息 NAME varchar(128) 数据库名 default
dbs hive所有数据库的基本信息 OWNER_NAME varchar(128) 数据库所有者用户名 public
dbs hive所有数据库的基本信息 OWNER_TYPE varchar(10) 所有