大数据组件安装(非CDH) 总文章

1.安装准备
   1.安装jdk、安装zookeeper
   2.安装目录
       数据目录：mkdir -p /root/kafkaData
       日志目录：mkdir -p /root/kafkaLogs
   3.tar -zxvf kafka_2.11-1.0.0.tgz -C
   4.mv kafka_2.11-1.0.0 kafka
   5.启动zookeeper 都必须执行时间同步命令：ntpdate ntp6.aliyun.com
   kafka安装前，最好配置一下定时脚本(时间同步)：
       crontab -e
       */1 * * * * /usr/sbin/ntpdate cn.pool.ntp.org;

2.修改配置文件
   vim /root/kafka/config/server.properties 修改三个地方
       1.borker中间者的id(唯一标识符id 标识 kafka集群中的每一台kafka服务器)
           # broker.id 标识了“kafka集群中一个kafka服务器中的”唯一的broker。
           broker.id=0
           num.network.threads=3
           num.io.threads=8
           socket.send.buffer.bytes=102400
           socket.receive.buffer.bytes=102400
           socket.request.max.bytes=104857600

       2.数据存放的目录，注意目录如果不存在，需要新建下。
           # 存放生产者生产的数据数据一般以topic的方式存放
           # 创建一个数据存放目录，可以使用 mkdir -p 先创建出来
           log.dirs=/root/kafkaData
           num.partitions=1
           num.recovery.threads.per.data.dir=1
           offsets.topic.replication.factor=1
           transaction.state.log.replication.factor=1
           transaction.state.log.min.isr=1
           log.retention.hours=168
           log.segment.bytes=1073741824
           log.retention.check.interval.ms=300000

       3.zookeeper的地址信息
           # zk的信息
           zookeeper.connect=NODE1:2181,NODE2:2181,NODE3:2181
           zookeeper.connection.timeout.ms=6000
           group.initial.rebalance.delay.ms=0

3.分发配置文件到NODE2和NODE3
scp -r /root/kafka NODE2:/root
scp -r /root/kafka NODE3:/root

4.分别修改NODE2、NODE3上的broker.id，并且在每个linux下创建数据存放目录
   1.vi /root/kafka/config/server.properties
       # borker中间者的id(唯一标识符id 标识 kafka集群中的每一台kafka服务器)
       # broker.id 标识了“kafka集群中一个kafka服务器中的”唯一的broker。
       broker.id=数字
   修改如下：
       NODE2：broker.id=1
      NODE3：broker.id=2

   2.每个linux下创建数据存放目录：mkdir -p /root/kafkaData

5.每台机器都启动zookeeper（启动zookeeper 都必须执行时间同步命令：ntpdate ntp6.aliyun.com）
cd /root/zookeeper/bin/
zkServer.sh start

查看集群状态、主从信息：
   1.cd /root/zookeeper/bin/
   2../zkServer.sh status # 查看状态：一个leader，两个follower
   3.“follower跟随者”的打印结果：
       JMX enabled by default
       Using config: /root/zookeeper/bin/../conf/zoo.cfg
       Mode: follower
   4.“leader领导者”的打印结果：
       JMX enabled by default
       Using config: /root/zookeeper/bin/../conf/zoo.cfg
       Mode: leader

6.配置环境变量
   1.vim /etc/profile 配置kafka路径
       export KAFKA_HOME=/root/kafka
       export PATH=$PATH:$KAFKA_HOME/bin
    2.分发配置文件到NODE2和NODE3
       scp -r /etc/profile NODE2:/etc
       scp -r /etc/profile NODE3:/etc
   3.source /etc/profile

7.每台机器都启动kafka进行kafka集群
   cd /root/kafka/bin
   chmod 777 kafka-server-start.sh
   chmod 777 /root/kafka/bin/kafka-run-class.sh
   ./kafka-server-start.sh /root/kafka/config/server.properties

8.Kafka集群一键启动脚本、一键关闭脚本
   一键启动：cd /root/kafkaSH
       chmod 777 startkafka.sh
       ./startkafka.sh
   一键关闭：cd /root/kafkaSH
       chmod 777 stopkafka.sh
       ./stopkafka.sh

   1.首先需要创建一个slave文件中配置集群中的各个主机名，用于给一键启动脚本读取该文件中的集群中的各个主机名
   注意：此处要在第四行给一个空行，那么脚本才能顺利加载到第三行信息
       NODE1
       NODE2
       NODE3

   2.一键启动脚本startkafka.sh
       cat /root/kafkaSH/slave | while read line
       do
       {
        echo $line
        ssh $line "source /etc/profile;nohup kafka-server-start.sh /root/kafka/config/server.properties >/dev/null 2>&1 &"
       }&
       wait
       done
   3.一键关闭脚本stopkafka.sh
       cat /root/kafkaSH/slave | while read line
       do
       {
        echo $line
        ssh $line "source /etc/profile;jps |grep Kafka |cut -c 1-4 |xargs kill -s 9 "
       }&
       wait
       done

4.每个linux执行jps命令查看，表示成功启动

kafka 安装（非CDH）

9.查看Kafka集群信息工具：ZooInspector
由于kafka集群并没有UI界面可以查看。需要借助外部工具ZooInspector，来查看kafka集群。这个工具是一个java程序ZooInspector，必须要安装好JDK。

kafka 安装（非CDH）

10.kafkaManager监控工具的安装与使用
   1.yum install unzip
   unzip kafka-manager-1.3.3.7.zip
   mv kafka-manager-1.3.3.7 kafka-manager
   2.修改application.conf配置里面的zk连接地址：
       vim /root/kafka-manager/conf/application.conf：kafka-manager.zkhosts="NODE1:2181,NODE2:2181,NODE3:2181"
   3.nohup 后台启动kafkaManager
       cd /root/kafka-manager/bin
       nohup ./kafka-manager -Dconfig.file=/root/kafka-manager/conf/application.conf -Dhttp.port=8070 >/dev/null 2>&1 &

4.jps命令查看是否启动成功

kafka 安装（非CDH）

5.webUI页面访问：192.168.25.100:8070

kafka 安装（非CDH）

大数据组件安装(非CDH) 总文章

相关推荐