Hive是hadoop生态系统中必不可少的工具，它提供了一种SQL（结构化查询语言）方言，可以查询存储在hadoop分布式文件系统中（HDFS）的数据或其他和hadoop集成的文件系统，如：MapR—Fs、Amazon的S3和像HBase（hadoop数据库）和Cassandra这样的数据库中的数据。

Hive简介

•Hive是基于Hadoop的一个数据仓库工具，可以将结构化的数据文件映射为一张数据库表，并提供类SQL查询功能。

•本质是将SQL转换为MapReduce程序，然后在Yarn上执行。

•Hive的表其实就是HDFS的目录/文件夹。Hive表里的数据相当于文件夹的文件。

为什么要使用Hive???

•操作接口采用类SQL语法，提供快速开发的能力

•避免了去写MapReduce，减少开发人员的学习成本

•扩展功能很方便

Hive与Hadoop的关系

Hive与传统数据库对比

	Hive	RDBMS
查询语言	HQL	SQL
数据存储	HDFS	Raw Device or Local FS
执行	MapReduce	Excutor
执行延迟	高	低
处理数据规模	大	小
索引	0.8版本后加入位图索引	有复杂的索引

Hive的系统架构

大数据Hive的简介和安装_03_01

•用户接口，包括 CLI（Shell命令行接口：常用），JDBC/ODBC（跨语言），WebUI（通过浏览器访问 Hive）。

•Thrift服务：thrift是facebook开发的一个软件框架，它用来进行可扩展且跨语言的服务的开发，hive集成了该服务，能让不同的编程语言调用hive的接口。

•Hive 将元数据存储在数据库中(metastore)，目前只支持 mysql、derby。Hive 中的元数据包括表的名字，表的列和分区及其属性，表的属性（是否为外部表等），表的数据所在目录等。

•解释器、编译器、优化器、执行器。它的作用是将我们写的HiveQL（类SQL）语句进行解析、编译优化，生成执行计划，然后调用底层的mapreduce计算框架。

注意：Hive 的数据存储在 HDFS 中，大部分的查询由 MapReduce 完成（包含 * 的查询，比如 select * from table 不会生成 MapRedcue 任务）

•Hadoop：用 HDFS 进行存储，利用 MapReduce 进行计算。

Hive和mysql的安装

Mysql的安装方式

1、yum的安装

2、rpm的方式安装

3、解压缩包的方式安装

4、源码编译的方式安装

这里我们采用rpm的方式安装：安装在weekend08节点上。

MySQL-client-5.1.73-1.glibc23.x86_64.rpm

MySQL-server-5.1.73-1.glibc23.x86_64.rpm

step1、安装server

执行命令: rpm -ivh MySQL-server-5.1.73-1.glibc23.x86_64.rpm

出现冲突的报错！！！

大数据Hive的简介和安装_03_01

解决方法

首先查询出mysql安装包 rpm -qa | grep mysql

大数据Hive的简介和安装_03_01

删除冲突的安装包

rpm -e mysql-libs-5.1.71-1.el6.x86_64 --nodeps

再次执行安装的命令： rpm -ivh MySQL-server-5.1.73-1.glibc23.x86_64.rpm

大数据Hive的简介和安装_03_01

step2、安装 Clinet

执行命令： rpm -ivh MySQL-client-5.1.73-1.glibc23.x86_64.rpm

大数据Hive的简介和安装_03_01

step3、初始化root的密码

执行命令： /usr/bin/mysql_secure_installation 这里的密码为hadoop

大数据Hive的简介和安装_03_01

step4、设置开机启动

chkconfig mysql on

step5、登录mysql

执行命令： mysql -uroot -phadoop

step6、设置登录权限

mysql> use mysql;

mysql> GRANT ALL PRIVILEGES ON *.* TO 'root'@'%' IDENTIFIED BY 'hadoop' WITH GRANT OPTION;

删除多余会对权限造成影响的数据：mysql> delete from user where host !='%';

这个时候再去执行mysql命令无法进行登录mysql

大数据Hive的简介和安装_03_01

step7、刷新权限

执行命令： mysql> flush privileges;

step8、登录mysql

执行命令： mysql -uroot -phadoop

大数据Hive的简介和安装_03_01

安装Hive

首先把之前搭建的集群启动起来。保证ActiveNodes 的三个节点是存活。

大数据Hive的简介和安装_03_01 Hive三种方式区别和搭建

本地模式

在weekend08节点上安装hive

1、解压apache-hive-1.2.1-bin.tar到 /usr/local目录下

2、配置Hive的环境变量

执行命令 vi /etc/profile

export JAVA_HOME=/usr/local/jdk1.8.0
export HADOOP_HOME=/usr/local/hadoop-2.6.5
export HIVE_HOME=/usr/local/hive
PATH=.:$HADOOP_HOME/sbin:$JAVA_HOME/bin:$HIVE_HOME/bin:$PATH

执行命令使其生效 source /etc/profile

3、切换到conf目录下重命名hive-default.xml.template为 hive-site.xml

4、进入hive的客户端

--启动hdfs集群

-- 切换到bin目录下执行 hive命令。

错误信息：原因就是hive下面的这个jline-2.12.jar 版本和yarn的版本不一致导致的。

大数据Hive的简介和安装_03_01

解决方法：切换到hadoop的那个jar包目录 /usr/local/hadoop-2.6.5/share/hadoop/yarn/lib

删除此目录下的jline-0.9.94.jar 然后将hive的那个高版本的jline-2.12.jar 复制到yarn目录下。

scp -r /usr/local/hive/lib/jline-2.12.jar /usr/local/hadoop-2.6.5/share/hadoop/yarn/lib

5、再次切换到bin目录下执行 hive命令。

注意：使用默认的derby数据库存元数据信息的情况。

Hive将元数据信息存储在执行hive命令时的那个文件夹下；

也就是说当你在hive的目录下执行 bin/hive命令那么就是在hive的目录下创建一个netastore_db文件夹来存储元数据信息；当你在bin的目录下执行 hive命令那么就是在bin的目录下创建一个netastore_db文件夹来存储元数据信息；

Hive默认使用的数据库为derby；derby的缺点只是适合单链接，不适合多连接；为了适合多连接需要不停过的切换执行hive命令的目录；一旦不停的切换目录执行hive脚本，就不能共享的使用这些表中的数据。

实际开发中我们使用mysql来存储元数据信息。

单用户模式

在weekend09节点上安装hive

1、解压apache-hive-1.2.1-bin.tar到 /usr/local目录下

2、配置Hive的环境变量

执行命令 vi /etc/profile

export JAVA_HOME=/usr/local/jdk1.8.0
export HADOOP_HOME=/usr/local/hadoop-2.6.5
export HIVE_HOME=/usr/local/hive
PATH=.:$HADOOP_HOME/sbin:$JAVA_HOME/bin:$HIVE_HOME/bin:$PATH

执行命令使其生效 source /etc/profile

3、切换到conf目录下重命名hive-default.xml.template为 hive-site.xml

并添加如下内容

<?xml version="1.0"?>

<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>

<name>hive.metastore.warehouse.dir</name>

<value>/user/hive_remote/warehouse</value> //hdfs的一个目录也就是hive查从hdfs查询数据的文件目录

</property>

<name>hive.metastore.local</name> //

</property>

<name>javax.jdo.option.ConnectionURL</name>

<value>jdbc:mysql://weekend08/hive_remote?createDatabaseIfNotExist=true</value> //mysql在weekend08节点上

</property>

<name>javax.jdo.option.ConnectionDriverName</name>

<value>com.mysql.jdbc.Driver</value>

</property>

<name>javax.jdo.option.ConnectionUserName</name>

<value>root</value> #mysql的用户名和密码

</property>

<name>javax.jdo.option.ConnectionPassword</name>

<value>hadoop</value>

</property>

</configuration>

4、进入hive的客户端

--启动hdfs集群

--将mysql的jar包（mysql-connector-java-5.1.32-bin.jar）拷贝到$HIVE_HOME/lib目录下

-- 切换到bin目录下执行 hive命令。

报错信息大数据Hive的简介和安装_03_01

解决方法：切换到hadoop的那个jar包目录 /usr/local/hadoop-2.6.5/share/hadoop/yarn/lib

删除此目录下的jline-0.9.94.jar 然后将hive的那个高版本的jline-2.12.jar 复制到yarn目录下。

scp -r /usr/local/hive/lib/jline-2.12.jar /usr/local/hadoop-2.6.5/share/hadoop/yarn/lib

5、再次切换到bin目录下执行 hive命令。

大数据Hive的简介和安装_03_01

create table tbl（iid int ,age int）;

insert into tbl values （1,2）；

select * from tbl;

大数据Hive的简介和安装_03_01

查看HDFS以及Yarn的图形化界面

大数据Hive的简介和安装_03_01

多用户模式

1.Remote一体

这种存储方式需要在远端服务器运行一个mysql服务器，并且需要在Hive服务器启动meta服务。

这里用mysql的测试服务器，ip位192.168.222.108建hive_remote数据库，字符集位latine1

<?xml version="1.0"?>

<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>

<name>hive.metastore.warehouse.dir</name>

<value>/user/hive/warehouse</value> //hdfs的一个目录也就是hive查从hdfs查询数据的文件目录

</property>

<name>javax.jdo.option.ConnectionURL</name>

<value>jdbc:mysql://192.168.222.108:3306/hive?createDatabaseIfNotExist=true</value> //mysql在weekend08节点上

</property>

<name>javax.jdo.option.ConnectionDriverName</name>

<value>com.mysql.jdbc.Driver</value>

</property>

<name>javax.jdo.option.ConnectionUserName</name>

</property>

<name>javax.jdo.option.ConnectionPassword</name>

<value>hadoop</value>

</property>

<name>hive.metastore.local</name>

<value>false</value>

</property>

<name>hive.metastore.uris</name>

<value>thrift://192.168.1.188:9083</value>

</property>

</configuration>

注：这里把hive的服务端和客户端都放在同一台服务器上了。服务端和客户端可以拆开，

2.Remote分开

1）将Hive的压缩包解压到weekend11、weekend12 配置环境变量

2）将mysql的驱动jar包添加weekend11（服务器端）节点hive的lib目录下

3）将服务器端的配置文件添加到weekend11节点下的conf目录下。

4）启动hive服务端程序：执行命令 hive --service metastore

这个时候服务一直在后台运行着。
大数据Hive的简介和安装_03_01

再开一个客户端查看服务是否启动

5）将客户端的配置文件添加到weekend12节点下的conf目录下。

启动客户端前解决启动错误信息问题。

解决方法：切换到hadoop的那个jar包目录 /usr/local/hadoop-2.6.5/share/hadoop/yarn/lib

删除此目录下的jline-0.9.94.jar 然后将hive的那个高版本的jline-2.12.jar 复制到yarn目录下。

scp -r /usr/local/hive/lib/jline-2.12.jar /usr/local/hadoop-2.6.5/share/hadoop/yarn/lib

6）客户端直接使用hive命令即可

将hive-site.xml配置文件拆为如下两部分

1）、服务端配置文件

<?xml version="1.0"?>

<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>

<name>hive.metastore.warehouse.dir</name>

<value>/user/hive/warehouse</value> //存储hive表的HDFS目录

</property>

<name>javax.jdo.option.ConnectionURL</name>

<value>jdbc:mysql://weekend08:3306/hive?createDatabaseIfNotExist=true</value>

</property>

<name>javax.jdo.option.ConnectionDriverName</name>

<value>com.mysql.jdbc.Driver</value>

</property>

<name>javax.jdo.option.ConnectionUserName</name>

</property>

<name>javax.jdo.option.ConnectionPassword</name>

<value>hadoop</value>

</property>

</configuration>

2）、客户端配置文件

<?xml version="1.0"?>

<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>

<name>hive.metastore.warehouse.dir</name>

<value>/user/hive/warehouse</value> //存储hive表的HDFS目录与服务器端相同

</property>

<name>hive.metastore.local</name>

<value>false</value>

</property>

<name>hive.metastore.uris</name>

<value>thrift://weekend11:9083</value> //服务端的地址

</property>

</configuration>

启动hive服务端程序

hive --service metastore

客户端直接使用hive命令即可

[email protected]:~$ hive

Hive history file=/tmp/root/hive_job_log_root_201301301416_955801255.txt

hive> show tables;

test_hive

Time taken: 0.736 seconds

hive>

客户端启动的时候要注意：

[ERROR] Terminal initialization failed; falling back to unsupported

java.lang.IncompatibleClassChangeError: Found class jline.Terminal, but interface was expected

at jline.TerminalFactory.create(TerminalFactory.java:101)

错误的原因： Hadoop jline版本和hive的jline不一致

大数据Hive的简介和安装_03_01

Hive简介

Hive与Hadoop的关系

Hive的系统架构

Hive和mysql的安装

Mysql的安装方式

安装Hive

本地模式

1.Remote一体

2.Remote分开

相关推荐