Hive概述

产生背景

1、MR编程不便性

2、传统的RDBMS人员的需求

Hive是什么？

Hive：由Facebook开源用于解决海量结构化日志的数据统计。

Hive是基于Hadoop的一个数据仓库工具，可以将结构化的数据文件映射为一张表，并提供类SQL查询功能。本质是：将HQL转化成MapReduce程序。

Hive处理的数据存储在HDFS，执行程序运行在Yarn上。

Hive底层的执行三个引擎：

MapReduce（在Hive1.x的时代MapReduce是默认引擎，在Hive2.x标记MapReduce为过时版本）

Tez

Spark （生产环境正在使用的引擎）

Hive定义一种类似SQL的查询语言：HQL 类SQL

问题：HQL和SQL的关系？

什么关系都没有，只是语法类似，Hive抄的MySQL的语法

很多的SQL on Hadoop的语法都是和RDBMS非常类似的

Hive的发展历程

08/2007: facebook

05/2013: 0.11.0 Stinger Phase1 ORC HiveServer2

10/2013: 0.12.0 Stinger Phase2 ORC improvement

04/2014: 0.13.0 Stinger Phase3 Vectorized query engine Tez（0.13版本后才能用）

11/2014: 0.14.0 Stinger.next Phase 1 Cost-based optimizer(CBO基于成本的优化，代价的优化)

01/2015: 1.0.0 （里程碑点）

Hive架构原理

Hive概述

1．用户接口：Client

CLI（hive shell）、JDBC/ODBC(java访问hive)、WEBUI（浏览器访问hive）

2．元数据：Metastore

元数据包括：表名、表所属的数据库（默认是default）、表的拥有者、列/分区字段、表的类型（是否是外部表）、表的数据所在目录等；

元数据默认存储在自带的derby数据库中，推荐使用MySQL存储Metastore

3．Hadoop

使用HDFS进行存储，使用MapReduce/tez/spark引擎进行计算。

4．驱动器：Driver

（1）解析器（SQL Parser）：将SQL字符串转换成抽象语法树AST，这一步一般都用第三方工具库完成，比如antlr；对AST进行语法分析，比如表是否存在、字段是否存在、SQL语义是否有误。

（2）编译器（Physical Plan）：将AST编译生成逻辑执行计划。

（3）优化器（Query Optimizer）：对逻辑执行计划进行优化。

（4）执行器（Execution）：把逻辑执行计划转换成可以运行的物理计划。对于Hive来说，就是MR/Spark。

Hive怎样存储数据？

数据本身：HDFS上

默认的hive"内部表"的存储路径：HDFS上的 hive.metastore.warehouse.dir 默认：/user/hive/warehouse/数据库名称.db

hive表的存储路径在数据库目录下。

hive的分区在表目录下。

bucket对应具体的文件。

元数据： DBMS上（MySQL）

Mysql中有一个metastore库中保存了hive中数据的schema信息。

Hive中主要包含以下几种数据模型：Table(表)，External Table(外部表)，Partition(分区)，Bucket(桶)(本博客会专门写几篇博文来介绍分区和桶)。

1、表：Hive中的表和关系型数据库中的表在概念上很类似，每个表在HDFS中都有相应的目录用来存储表的数据，这个目录可以通过${HIVE_HOME}/conf/hive-site.xml配置文件中的 hive.metastore.warehouse.dir属性来配置，这个属性默认的值是/user/hive/warehouse(这个目录在 HDFS上)，我们可以根据实际的情况来修改这个配置。如果我有一个表wyp，那么在HDFS中会创建/user/hive/warehouse/wyp 目录(这里假定hive.metastore.warehouse.dir配置为/user/hive/warehouse);wyp表所有的数据都存放在这个目录中。这个例外是外部表。

2、外部表：Hive中的外部表和表很类似，但是其数据不是放在自己表所属的目录中，而是存放到别处，这样的好处是如果你要删除这个外部表，该外部表所指向的数据是不会被删除的，它只会删除外部表对应的元数据;而如果你要删除表，该表对应的所有数据包括元数据都会被删除。

3、分区：在Hive中，表的每一个分区对应表下的相应目录，所有分区的数据都是存储在对应的目录中。比如wyp 表有dt和city两个分区，则对应dt=20131218,city=BJ对应表的目录为/user/hive/warehouse /dt=20131218/city=BJ，所有属于这个分区的数据都存放在这个目录中。

4、桶：对指定的列计算其hash，根据hash值切分数据，目的是为了并行，每一个桶对应一个文件(注意和分区的区别)。比如将wyp表id列分散至16个桶中，首先对id列的值计算hash，对应hash值为0和16的数据存储的HDFS目录为：/user /hive/warehouse/wyp/part-00000;而hash值为2的数据存储的HDFS 目录为：/user/hive/warehouse/wyp/part-00002。

Hive概述

Hive VS RDBMS 关系和区别

相同点：都是通过SQL执行的

1、Hive关注的是大数据的数据库仓库的统计和分析，跑一个Hive作业跑个7~8个小时是正常的，关注点不同，处理的场景不一样

2、关系型数据库，节点数量是有限制的，Hive是构建在Hadoop之上的，可以支持成千上万的节点的，而且是分布式计算的

3、关系型数据库里面是有事务的 insert/update，Hive是没有事务的（支持但是不推荐），都批次执行的，都是离线导入一个批次的数据。

总结：

Hive适用于离线计算，所以它的延迟性和实时性差别很大。MySQL讲究实时性和事物，一个insert或者一个update就要commit，更新数据，Hive处理的数据都是这些数据已经和业务没有直接关联的，停机的数据，进行离线批量的操作。

注：

1）由于Hive是针对数据仓库应用设计的，而数据仓库的内容是读多写少的。因此，Hive中不建议对数据的改写，所有的数据都是在加载的时候确定好的。

2）Hive不建立索引

Hive部署

前提条件：

1）Hadoop部署完成

2）MySQL部署完成

步骤：

1）下载
2）解压
3）bin添加到环境变量
4）拷贝mysql的驱动到lib下
5）

修改hive-env.sh

# Set HADOOP_HOME to point to a specific hadoop install directory

HADOOP_HOME=/home/hadoop/app/hadoop-2.7.2



# Hive Configuration Directory can be controlled by:

export HIVE_CONF_DIR=/home/hadoop/app/apache-hive-1.2.2-bin/conf

修改hive-site.xml配置mysql相关信息

<property>
        <name>javax.jdo.option.ConnectionURL</name>
                <value>jdbc:mysql://bigdata001:3306/test?createDatabaseIfNotExist=true&amp;characterEncoding=UTF-8</value>
</property>

<property>
      <name>javax.jdo.option.ConnectionDriverName</name>
        <value>com.mysql.jdbc.Driver</value>
        </property>

<property>
  <name>javax.jdo.option.ConnectionUserName</name>
    <value>root</value>
</property>

<property>
  <name>javax.jdo.option.ConnectionPassword</name>
    <value>root</value>
</property>

Hive 常用命令

[[email protected] hive]$ bin/hive -help
usage: hive
 -d,--define <key=value>          Variable subsitution to apply to hive
                                  commands. e.g. -d A=B or --define A=B
    --database <databasename>     Specify the database to use
 -e <quoted-query-string>         SQL from command line
 -f <filename>                    SQL from files
 -H,--help                        Print help information
    --hiveconf <property=value>   Use value for given property
    --hivevar <key=value>         Variable subsitution to apply to hive
                                  commands. e.g. --hivevar A=B
 -i <filename>                    Initialization SQL file
 -S,--silent                      Silent mode in interactive shell
 -v,--verbose                     Verbose mode (echo executed SQL to the console)

1．-e 不进入hive的交互窗口执行sql语句

[[email protected] hive]$ bin/hive -e "select id from student;"

2．-f 执行脚本中sql语句

[[email protected] hive]$ bin/hive -f xxx.sql

执行文件中的sql语句并将结果写入文件中

[[email protected] hive]$ bin/hive -f xxx.sql > hive_result.txt

3．在hive cli命令窗口中如何查看hdfs文件系统

hive(default)>dfs -ls /;

4．在hive cli命令窗口中如何查看本地文件系统

hive(default)> ! ls /;

5．查看在hive中输入的所有历史命令

查看 ~/. hivehistory文件

Hive 常见配置

1、hive.metastore.warehouse.dir 默认为/user/hive/warehouse

hive中Default库的位置，如果某张表属于default数据库，直接在数据仓库目录下创建一个文件夹。

修改此参数后需配置同组用户有执行权限 bin/hdfs dfs -chmod g+w /user/hive/warehouse

2、hive.cli.print.header 是否显示表的字段名（默认为 false）

3、hive.cli.print.current.db 是否显示当前数据库（默认为 false）

4、Hive运行日志信息配置：

1．Hive的log默认存放在/tmp/{username}/hive.log目录下（当前用户名下）

2．修改：在hive-log4j.properties文件中修改log存放位置

hive.log.dir=/home/js/app/hive/log

参数配置方式

1．查看当前所有的配置信息

hive>set;

2．参数的配置三种方式

（1）配置文件方式

默认配置文件：hive-default.xml

用户自定义配置文件：hive-site.xml

注意：用户自定义配置会覆盖默认配置。另外，Hive也会读入Hadoop的配置，因为Hive是作为Hadoop的客户端启动的，Hive的配置会覆盖Hadoop的配置。配置文件的设定对本机启动的所有Hive进程都有效。

（2）命令行参数方式

启动Hive时，可以在命令行添加 -hiveconf 参数=value来设定参数。

bin/hive -hiveconf mapred.reduce.tasks=10;

注意：仅对本次hive启动有效

查看参数设置：

hive (default)> set 参数名;

（3）参数声明方式

可以在HQL中使用SET关键字设定参数

例如：

hive (default)> set mapred.reduce.tasks=100;

注意：仅对本次hive启动有效。

上述三种设定方式的优先级依次递增。即配置文件<命令行参数<参数声明。注意某些系统级的参数，例如log4j相关的设定，必须用前两种方式设定，因为那些参数的读取在会话建立以前已经完成了。

产生背景

Hive是什么？

Hive的发展历程

Hive架构原理

Hive怎样存储数据？

Hive VS RDBMS 关系和区别

Hive部署

Hive 常用命令

Hive 常见配置

参数配置方式

相关推荐