Hive的介绍 , 安装 , 配置以及启动
1 什么是Hive
首先 , Hive是一个 sql 工具;它能接收用户输入的sql语句,然后把它翻译成mapreduce程序对HDFS上的数据进行查询、运算,并返回结果,或将结果存入HDFS;Hive是基于Hadoop的一个数据仓库工具(离线),可以将结构化的数据文件映射为一张数据库表,并提供类SQL查询功能。
Hive是运行在Hadoop集群上的 , 所以在安装Hive之前 , 应启动Hadoop集群 .
2 Hive的关键工作机制
2.1 核心点 :
Hive利用HDFS来存储数据文件 ;
利用MapReduce来做数据分析运算 ;
利用SQL来为用户提供查询接口 ;
2.2 Hiva的特点
可扩展
Hive可以自由的扩展集群的规模,一般情况下不需要重启服务。
延展性
Hive支持用户自定义函数,用户可以根据自己的需求来实现自己的函数。
容错
良好的容错性,节点出现问题SQL仍可完成执行。
3 Hive的安装
Hive可以安装在任何一台和Hadoop集群联网的机器
3.1 上传一个Hive安装包并解压 .
利用解压命令减压到/usr/local下面
tar -zxvf apache-hive-1.2.2-bin.tar.gz -C /usr/local/
3.2 安装一个MySql并设置开机自启
详细安装过程见 : https://blog.****.net/weixin_35353187/article/details/81712096
设置开机自启 : chkconfig mysqld on
3.3 配置hive-site.xml
因为conf里面并没有hive-site.xml这个配置文件,而hive-default.xml.template里面配置项太多 , 所以我们直接新建一个
配置内容如下:
注:最后俩项为用户名和密码 , 需要个人设置 .
-
<configuration>
-
<property>
-
<name>javax.jdo.option.ConnectionURL</name>
-
<value>jdbc:mysql://localhost:3306/hive?createDatabaseIfNotExist=true</value>
-
<description>JDBC connect string for a JDBC metastore</description>
-
</property>
-
-
<property>
-
<name>javax.jdo.option.ConnectionDriverName</name>
-
<value>com.mysql.jdbc.Driver</value>
-
<description>Driver class name for a JDBC metastore</description>
-
</property>
-
-
<property>
-
<name>javax.jdo.option.ConnectionUserName</name>
-
<value>root</value>
-
<description>username to use against metastore database</description>
-
</property>
-
-
<property>
-
<name>javax.jdo.option.ConnectionPassword</name>
-
<value>123456</value>
-
<description>password to use against metastore database</description>
-
</property>
-
</configuration>
3.4 在安装目录的lib下面上传数据库连接jar包
jar包下载地址 : http://mvnrepository.com/artifact/mysql/mysql-connector-java/5.1.38
3.5 配置环境变量到Path
4 Hive的启动与运用
4.1 输入hive 直接启动
4.2 以服务的形式后台启动
输入命令 : nohup hiveserver2 1>/dev/null 2>&1 &
启动成功后,可以在别的节点上用beeline去连接
方式一 : 输入beeline 回车,进入beeline的命令界面
输入 : !connect jdbc:hive2://hadoop01:10000
然后输入用户名 : root
接下来要求输入密码 ,我们可以不输 , 因为配置里面配置了密码
方式二 : 启动时直接连接:
beeline -u jdbc:hive2://hadoop01:10000 -n root (一般用这个)