KAFKA从0到1的进阶之路

kafka:详细介绍:http://kafka.apachecn.org/quickstart.html

本人也是第一次使用KAFKA,顺便记录下使用和踩过的坑,望网友大牛们可以多提意见,

What is KAFKA?

使用笼统的说法,消息中间件,可以用来收发消息的组件,并且具有较好的容错性。

KAFKA有四个核心的API,Producer(生产者,发送消息) ,Consumer(消费者,接收消息),Stream(流处理器,没用过)

TOPIC(理解为表)

准备环境:(可以看详细介绍安装)

CentOS7 JKD1.8 zookeeper KAFKA

开始搭建:(可根中文API)

1.下载KAFKA相关的包

> tar -xzf kafka_2.11-1.0.0.tgz

> cd kafka_2.11-1.0.0

2.开启zookeeper服务器

kafka的启动需要zookeeper作为前提条件,zookeeper启动的时候没什么需要更改配置的,就默认就好了 

localhost 端口是更改的:在 zookeeper conf/zoo.cfg 更改

KAFKA从0到1的进阶之路

3,开启KAFKA服务器

 bin/kafka-server-start.sh config/server.properties

KAFKA从0到1的进阶之路

标红的端口要和zookeeper的端口一致

 

KAFKA从0到1的进阶之路

KAFKA从0到1的进阶之路

启动成功。

4.创建一个TOPIC

让我们创建一个名为“test”的topic,它有一个分区和一个副本:

1

> bin/kafka-topics.sh --create --zookeeper localhost:2181 --replication-factor 1 --partitions 1 --topic test

现在我们可以运行list(列表)命令来查看这个topic:

1

2

> bin/kafka-topics.sh --list --zookeeper localhost:2181

test

或者,您也可将代理配置为:在发布的topic不存在时,自动创建topic,而不是手动创建。

topic 可以当作是一个数据库种的一张表

5.接送消息

新建一个producer tab,可以用于发送消息 

> bin/kafka-console-producer.sh --broker-list localhost:9092 --topic heima
KAFKA从0到1的进阶之路

新建一个 consumer TAB 用于接收消息

KAFKA从0到1的进阶之路

一个最基本的KAFKA通信就结束了,继续往下面探究