Kafka+Storm+HBase项目Demo(2)--Kafka环境搭建

下面安装Kafka
Kafka是LinkedIn开源出来的一个高吞吐的分布式消息系统。使用scala开发，支持多语言客户端（c++、java、python等）

Broker：消息中间件处理结点，一个kafka节点就是一个broker
Producer：消息发布者Consumer：消息订阅者

搭建步骤

1. Kafka下载：
   wget https://archive.apache.org/dist/kafka/0.8.1/kafka_2.9.2-0.8.1.tgz
   解压 tar zxvf kafka_2.9.2-0.8.1.tgz

2.cd kafka_2.9.2-0.8.1
kafka使用scala编写，需要下载scala相关的库
下载安装sbt：
wget http://repo.scala-sbt.org/scalasbt/sbt-native-packages/org/scala-sbt/sbt/0.13.1/sbt.rpm
$ rpm -ivh sbt.rpm

3.更新scala环境：
sbt update
sbt package

4.配置config/server.properties
broker.id：为依次增长的0、1、2、3、4，集群中唯一id
zookeeper.connnect :
192.168.1.101:2181,192.168.1.102:2181，192.168.1.103:2181

auto.create.topics.enable：
是否可以程序自动创建Topic
默认true,建议false

default.replication.factor :
消息备份数目
默认1不做复制，修改为3

在kafka的部署目录下，在各个节点上通过如下命令来启动：
$ nohup bin/kafka-server-start.sh config/server.properties &

[[email protected] ~]# jps
3098 ZooKeeperMain
3037 Kafka
可以找到上面的进程

创建topic：
$ bin/kafka-topics.sh --zookeeper 192.168.1.101:2181,192.168.1.102:2181，192.168.1.103:2181
–topic topicName --replication-factor 1 --partitions 1 --create

其中， --topic 定义topic名
–replication-factor 定义副本数
–partitions 定义分区数

查看全部Topic：
bin/kafka-topics.sh --zookeeper 192.168.1.101:2181,192.168.1.102:2181，192.168.1.103:2181 --list

删除Topic：
./kafka-topics.sh --topic topicName --delete --192.168.1.101:2181,192.168.1.102:2181，192.168.1.103:2181

查看Topic明细：
./kafka-topics.sh --topic test --describe --192.168.1.101:2181,192.168.1.102:2181，192.168.1.103:2181

Productor：
bin/kafka-console-producer.sh --broker-list
192.168.1.101:9092,192.168.1.102:9092,192.168.1.103:9092 --topic topicName

Consumer:
bin/kafka-console-consumer.sh --zookeeper 192.168.1.101:9092,192.168.1.102:9092,192.168.1.103:9092 --topic topicName --from-beginning