Hive学习总结（三）之元数据Metastore
元数据Metastore
1、元数据
元数据（Metadata），又称中介数据、中继数据，为描述数据的数据（data about data），主要是描述数据属性（property）的信息，用来支持如指示存储位置、历史数据、资源查找、文件记录等功能。元数据算是一种电子式目录，为了达到编制目录的目的，必须在描述并收藏数据的内容或特色，进而达成协助数据检索的目的。
Hive中的Metastore默认存储在自带的derby数据库中，但是我们推荐使用MySQL存储Metastore;因为存储在derby数据库，hive只能开启一个客户端，使用mysql数据库既可以实现多客户端操作。
2、MySQL中Hive数据库相关的元数据表
2.1、DBS表
DBS表中存储Hive中所有数据库的基本信息。
| 元数据表字段 | 说明 | 示例数据 |
|---|---|---|
| DB_ID | 数据库ID | 2 |
| DESC | 数据库描述 | 测试库 |
| DB_LOCATION_URI | 数据库HDFS路径 | hdfs://namenode/user/hive/warehouse/lxw1234.db |
| NAME | 数据库名 | lxw1234 |
| OWNER_NAME | 数据库所有者用户名 | lxw1234 |
| OWNER_TYPE | 所有者角色 | USER |
3、Hive表和视图相关的元数据表
主要有TBLS、TABLE_PARAMS、TBL_PRIVS，这三张表通过TBL_ID关联。
3.1、TBLS表
TBLS表中存储Hive表、视图、索引表的基本信息。
| 元数据表字段 | 说明 | 示例数据 |
|---|---|---|
| TBL_ID | 表ID | 8 |
| CREATE_TIME | 创建时间 | 1593333637 |
| DB_ID 数据库ID | 对应DBS中的DB_ID | 2 |
| LAST_ACCESS_TIME | 上次访问时间 | 0(类似1593333637) |
| OWNER | 所有者 | root |
| RETENTION | 保留字段 | 0 |
| SD_ID 序列化配置信息 | 对应SDS表中的SD_ID | 8 |
| TBL_NAME | 表名 | emails_text |
| TBL_TYPE | 表类型 | MANAGED_TABLE、EXTERNAL_TABLE(外部表)、INDEX_TABLE、VIRTUAL_VIEW |
| VIEW_EXPANDED_TEXT | 视图的详细HQL语句 | select root.myhive, peoples.name from root.myhive
|
| VIEW_ORIGINAL_TEXT | 视图的原始HQL语句 | select * from emails_text |
4、Hive文件存储信息相关的元数据表
主要涉及SDS、SD_PARAMS、SERDES、SERDE_PARAMS
由于HDFS支持的文件格式很多，而建Hive表时候也可以指定各种文件格式，Hive在将HQL解析成MapReduce时候，需要知道去哪里，使用哪种格式去读写HDFS文件，而这些信息就保存在这几张表中。
4.1、SDS表
SDS表保存文件存储的基本信息，如INPUT_FORMAT、OUTPUT_FORMAT、是否压缩等。
TBLS表中的SD_ID与该表关联，可以获取Hive表的存储信息。
| 元数据表字段 | 说明 | 示例数据 |
|---|---|---|
| SD_ID | 存储信息ID | 8 |
| CD_ID 字段信息ID | 对应CDS表 | 23 |
| INPUT_FORMAT | 文件输入格式 | org.apache.hadoop.mapred.TextInputFormat |
| IS_COMPRESSED | 是否压缩 | 0 |
| IS_STOREDASSUBDIRECTORIES | 是否以子目录存储 | 0 |
| LOCATION | HDFS路径 | hdfs://localhost:9000/user/hive/warehouse/myhive.db/emails_text |
| NUM_BUCKETS | 分桶数量 | -1 |
| OUTPUT_FORMAT | 文件输出格式 | org.apache.hadoop.hive.ql.io.HiveIgnoreKeyTextOutputFormat |
| SERDE_ID 序列化类ID | 对应SERDES表 | 8 |
4.2、SD_PARAMS表
SD_PARAMS表存储Hive存储的属性信息，在创建表时候使用
STORED BY ‘storage.handler.class.name’ [WITH SERDEPROPERTIES (…)指定。
| 元数据表字段 | 说明 | 示例数据 |
|---|---|---|
| SD_ID | 存储配置ID | 1 |
| PARAM_KEY | 存储属性名 | |
| PARAM_VALUE | 存储属性值 |
4.3、SERDES表
SERDES表存储序列化使用的类信息
| 元数据表字段 | 说明 | 示例数据 |
|---|---|---|
| SERDE_ID | 序列化类配置ID | 8 |
| NAME | 序列化类别名 | |
| SLIB | 序列化类 | org.apache.hadoop.hive.serde2.lazy.LazySimpleSerDe |
4.4、SERDE_PARAMS表
SERDE_PARAMS表存储序列化的一些属性、格式信息,比如：行、列分隔符
| 元数据表字段 | 说明 | 示例数据 |
|---|---|---|
| SERDE_ID | 序列化类配置ID | 8 |
| PARAM_KEY | 属性名 | field.delim |
| PARAM_VALUE | 属性值 | , |
5、Hive表分区相关的元数据表
主要涉及PARTITIONS、PARTITION_KEYS、PARTITION_KEY_VALS、PARTITION_PARAMS
5.1、PARTITIONS表
PARTITIONS表存储表分区的基本信息。
| 元数据表字段 | 说明 | 示例数据 |
|---|---|---|
| PART_ID | 分区ID | |
| CREATE_TIME | 分区创建时间 | |
| LAST_ACCESS_TIME | 最后一次访问时间 | |
| PART_NAME | 分区名 | pt= |
| SD_ID | 分区存储ID | |
| TBL_ID | 表ID |
5.2、PARTITION_KEYS表
PARTITION_KEYS表存储分区的字段信息。
| 元数据表字段 | 说明 | 示例数据 |
|---|---|---|
| TBL_ID | 表ID | |
| PKEY_COMMENT | 分区字段说明 | |
| PKEY_NAME | 分区字段名 | pt |
| PKEY_TYPE | 分区字段类型 | string |
| INTEGER_IDX | 分区字段顺序 | 1 |
5.3、PARTITION_KEY_VALS表
PARTITION_KEY_VALS表存储分区字段值。
| 元数据表字段 | 说明 | 示例数据 |
|---|---|---|
| PART_ID | 分区ID | |
| PART_KEY_VAL | 分区字段值 | |
| INTEGER_IDX | 分区字段值顺序 |
5.4、PARTITION_PARAMS表
PARTITION_PARAMS表存储分区的属性信息。
| 元数据表字段 | 说明 | 示例数据 |
|---|---|---|
| PART_ID | 分区ID | |
| PARAM_KEY | 分区属性名 | |
| PARAM_VALUE | 分区属性值 |