Hive的基本概念
HIVE是什么
数据仓库：倾向于数据管理，管理的原始数据可以不是存储在自己本地
应用场景
-
OLAP：联机分析处理，适用于数据仓库，hive中不支持事务
-
OLTP：联机事务处理，适用于数据库
模式
数据仓库：hive读模式时会进行校验，写模式不进行校验
数据库：关系型数据库一般是写模式，分布式数据库的模式无法确定
hive的优缺点
优点：延展性，可自定义函数
缺点：
-
不支持事务
-
不支持行级别的update、delete操作，目前支持insert操作，但性能低
-
查询延时性高，不适合实时性查询
hive和RDBMSDE的对比
hive的架构
-
用户接口层：客户端（CLI shell访问方式），ODBC/JDBC（代码），WEB UI（网页访问，不用）
-
Thrift Server：跨语言服务层，将各个语言翻译成hive识别的操作符
-
元数据库层：元数据库存储的是用于描述hive中的库或表或字段信息的数据
-
hive的元数据是结构化数据存储的，hive的元数据存储在关系型数据库，默认存储在derby数据库中，一般情况下改为mysql
-
驱动层：
-
解释器：将Hql语句转换为抽像语法树
-
编译器：将语法树编译为逻辑执行计划
-
优化器：对逻辑执行计划进行优化
-
执行器：执行器是调用底层的运行框架执行逻辑执行计划
hive的数据组织格式
-
库：同关系型数据库，便于数据的管理，将不同模块的数据存储在不同的数据库中
-
表：
内部表：表的数据hive自己进行管理，可自己决定数据的删除或添加
内部表在进行删除时，原始数据和元数据是一并删除
外部表：表的数据hdfs管理的 hive只有权利使用，没有权利删除
删除外部表时，原始数据不能删除，元数据会删除
分区表：当数据量比较大的时候 ，在进行查询的时候，如果每一次都进行全表扫描，必然造成查询性能低
分区表就是将原来的表的原始数据进行分目录存储，相当于对原始表一个区块划分，将不同的分区 存储在不同的目录下
目的：便于查询，在查询的时候可以减少查询的范围
分区表的表现形式：将表中的不同区的数据分别存储在不同的目录下
分桶表：（类似mapreduce的分区的概念）
作用：提升抽样的性能
提升join的性能
如：数据量比较大的时候先进行数据抽样抽取样本数据测试
抽样时可拿一个桶的数据作为样本数据
目录划分：将不同的桶的数据分别存储在不同的文件中
分桶的数据划分： 分桶字段.hash%分桶个数
视图：提升hql语句的可读性
hive中的视图只存在逻辑视图，不存在物化视图
-
逻辑视图：只存储视图代表的hql语句，不会进行执行
-
物化视图：将视图对应的查询语句执行出结果
-
hive的视图相当于一条查询语句的快捷方式
-
hive中的视图，在视图查询的时候才会执行
-
hive中的视图不支持insert update等操作，只支持select
数据存储
元数据存储：元数据就是存储hive中表、库的相关描述信息存储在关系型数据库默认derby 一般改为mysql
hive中的数据库的描述信息：mysql表存储的是数据库表的描述信息每当hive中创建一个数据库的时候，这个表就添加一条数据
（注意：元数据信息可以修改的，一旦元数据修改，表结构就会修改hive的表结构相关数据（库，表，字段）从元数据库加载）
原始数据存储
存储在hdfs上，默认在http://192.168.2.101:50070/user/hive/warehouse 路径下
读取的配置文件 hive-default.xml中，若要修改存储目录，可在hive-site.xml添加配置项hive.metastore.warehouse.dir