您的位置: 首页  >  文章  >  impala（02）——impala的安装

impala（02）——impala的安装

分类: 文章 • 2024-03-07 20:27:21

1、安装环境准备

需要提前安装好hadoop，hive，hive需要在所有的impala安装的节点上面都要有，因为impala需要引用hive的依赖包，hadoop的框架需要支持C程序访问接口。

2、下载impala的所有依赖包

安装impala的时候，需要使用rpm包来进行安装，rpm包只有cloudera公司提供了，所以我们去cloudera公司网站进行下载rpm包即可。
但是另外一个问题，impala的rpm包依赖非常多的其他的rpm包，可以一个个的将依赖找出来，也可以将所有的rpm包下载下来，制作成我们本地yum源来进行安装。

一般情况下都要制作本地yum源安装

选择制作我们本地的yum源来进行安装，所以首先我们需要下载到所有的rpm包。
下载地址如下
http://archive.cloudera.com/cdh5/repo-as-tarball/5.14.0/cdh5.14.0-centos6.tar.gz

3、上传压缩包并解压

将我们5个G的压缩文件(下载的所有的rpm包)上传安装包目录下，并进行解压

tar -zvxf cdh5.14.0-centos6.tar.gz -C /export/servers

4、制作本地yum源

镜像源是centos当中下载相关软件的地址，我们可以通过制作我们自己的镜像源指定我们去哪里下载impala的rpm包。
这里我们使用httpd这个软件来作为服务端，启动httpd的服务来作为我们镜像源的下载地址。
我们选用第三台机器作为镜像源的服务端

node03机器上执行以下命令

yum  -y install httpd
service httpd start
cd /etc/yum.repos.d
vim localimp.repo

修改文件localimp.repo：

[localimp]
name=localimp
baseurl=http://node03/cdh5.14.0/
gpgcheck=0
enabled=1

创建apache httpd的读取链接

ln -s /export/servers/cdh/5.14.0 /var/www/html/cdh5.14.0

页面访问本地yum源

出现这个界面表示本地yum源制作成功
impala（02）——impala的安装
将制作好的localimp配置文件发放到所有需要安装impala的节点上去

cd /etc/yum.repos.d/
scp localimp.repo  node02:$PWD
scp localimp.repo  node01:$PWD

5、安装impala

安装规划

在node03上安装
impala-catalog
impala-state-store
impala-server
在node01和node02上安装impala-server

node03执行以下命令

yum -y install  impala 
yum -y install impala-server
yum -y install impala-state-store
yum -y install impala-catalog
yum -y install  impala-shell

从节点node01与node02安装以下服务

yum -y install impala-server

6、所有节点配置impala

1 修改hive-site.xml

node03机器修改hive-site.xml内容如下
hive-site.xml配置
vim /export/servers/hive-1.1.0-cdh5.14.0/conf/hive-site.xml

<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>
<configuration>
        <property>
                <name>javax.jdo.option.ConnectionURL</name>
                <value>jdbc:mysql://node03.hadoop.com:3306/hive?createDatabaseIfNotExist=true</value>
        </property>
        <property>
            <name>javax.jdo.option.ConnectionDriverName</name>
                <value>com.mysql.jdbc.Driver</value>
        </property>
        <property>
                <name>javax.jdo.option.ConnectionUserName</name>
                <value>root</value>
        </property>
        <property>
             <name>javax.jdo.option.ConnectionPassword</name>
                <value>123456</value>
        </property>
        <property>
                <name>hive.cli.print.current.db</name>
                <value>true</value>
        </property>
        <property>
                <name>hive.cli.print.header</name>
                <value>true</value>
        </property>
        <property>
                <name>hive.server2.thrift.bind.host</name>
                <value>node03.hadoop.com</value>
        </property>
        <property>
                <name>hive.metastore.uris</name>
                <value>thrift://node03.hadoop.com:9083</value>
        </property>
	 <property>
                <name>hive.metastore.client.socket.timeout</name>
                <value>3600</value>
        </property>

</configuration>

2 node03启动hive的metastore服务

node03启动hive的metastore服务

cd  /export/servers/hive-1.1.0-cdh5.14.0
nohup bin/hive --service metastore &
nohup bin/hive –service hiveserver2 &

3 所有hadoop节点修改hdfs-site.xml

所有节点创建文件夹

mkdir -p /var/run/hdfs-sockets

修改所有节点的hdfs-site.xml添加以下配置，修改完之后重启hdfs集群生效
vim /export/servers/hadoop-2.6.0-cdh5.14.0/etc/hadoop/hdfs-site.xml

	<property>
		<name>dfs.client.read.shortcircuit</name>
		<value>true</value>
	</property>
	<property>
		<name>dfs.domain.socket.path</name>
		<value>/var/run/hdfs-sockets/dn</value>
	</property>
	<property>
		<name>dfs.client.file-block-storage-locations.timeout.millis</name>
		<value>10000</value>
	</property>
<property>
<name>dfs.datanode.hdfs-blocks-metadata.enabled</name>
<value>true</value>
</property>

4 重启hdfs

重启hdfs文件系统
node01上面执行以下命令
cd /export/servers/hadoop-2.6.0-cdh5.14.0/

sbin/stop-dfs.sh
sbin/start-dfs.sh

5 创建hadoop与hive的配置文件的连接

impala的配置目录为 /etc/impala/conf
这个路径下面需要把core-site.xml，hdfs-site.xml以及hive-site.xml拷贝到这里来，但是我们这里使用软连接的方式会更好
所有节点执行以下命令创建链接到impala配置目录下来

ln -s /export/servers/hadoop-2.6.0-cdh5.14.0/etc/hadoop/core-site.xml /etc/impala/conf/core-site.xml
ln -s /export/servers/hadoop-2.6.0-cdh5.14.0/etc/hadoop/hdfs-site.xml /etc/impala/conf/hdfs-site.xml
ln -s /export/servers/hive-1.1.0-cdh5.14.0/conf/hive-site.xml /etc/impala/conf/hive-site.xml

6 修改impala的配置文件

所有节点修改impala默认配置

所有节点更改impala默认配置文件以及添加mysql的连接驱动包
vim /etc/default/impala

IMPALA_CATALOG_SERVICE_HOST=node03
IMPALA_STATE_STORE_HOST=node03
所有节点创建mysql的驱动包的软连接
ln -s /export/servers/hive-1.1.0-cdh5.14.0/lib/mysql-connector-java-5.1.38.jar /usr/share/java/mysql-connector-java.jar
所有节点修改bigtop的java路径

修改bigtop的java_home路径
vim /etc/default/bigtop-utils

export JAVA_HOME=/export/servers/jdk1.8.0_141

7 启动impala服务

主节点node03启动以下三个服务进程

service impala-state-store start
service impala-catalog start
service impala-server start

从节点node01与node02启动impala-server

service  impala-server  start

查看impala进程是否存在

ps -ef | grep impala

浏览器页面访问：
访问impalad的管理界面
http://node03:25000/
访问statestored的管理界面
http://node03:25010/

相关推荐