Hive基础学习2017-09-17
一、Hive介绍:
1、 基于Hadoop的一个数据仓库工具
2、 Hive将HQL语句转译成MapReduceJob
3、 Hive的表其实就是
二、Hive作用
Hive降低了数据人员使用MR的门槛,使得分布式计算通过类SQL的操作即可实现,对大数据应用发展起到了很多的推动作用。
三、Hive特点
1、 使用HQL作为查询接口
2、 使用HDFS作为底层存储
3、 可扩展到100PB+
4、 统一的元数据管理
HQL和SQL的区别:
一、Hive与HBase对比
共同点:
1、 HBase与Hive都架构在Hadoop之上,都是用hdfs作为底层存储
2、 职能上都能对外提供表形式的数据查询等服务
区别:
1、 Hive是建立在Hadoop之上为了减少MapReducejobs编写工作的批处理系统,HBase是为了支持弥补Hadoop对实时操作的缺陷的项目
2、 Hive本身不存储和计算数据,它完全依赖于HDFS和MapReduce,Hive中的表是纯逻辑表,是对hdfs文件的一种记录方式。
3、 HBase是物理表,不是逻辑表,提供一个超大的内存hash表,搜索引擎通过它来存储索引,方便查询操作。
二、Hive的数据类型
1、 基本数据类型
tinyint/smallint/int/bigint
float/double
Boolean
String
2、 复杂数据类型
Array/Map/Struct—>结构体
3、 没有SQL中的date/datetime