kafka的安装以及部署的详细描述

kafka是一个高吞吐量的分布式消息队列（message Queue）系统，以下是它的介绍

流媒体平台有三个关键功能：

• 发布和订阅记录流，类似于消息队列或企业消息传递系统。
• 以容错的持久方式存储记录流。
• 记录发生时处理流。

Kafka通常用于两大类应用：

• 构建可在系统或应用程序之间可靠获取数据的实时流数据管道
• 构建转换或响应数据流的实时流应用程序

要了解Kafka如何做这些事情，让我们深入探讨Kafka的能力。

首先是几个概念：

• Kafka作为一个集群运行在一个或多个可跨多个数据中心的服务器上。
• Kafka集群以称为主题的类别存储记录流。
• 每条记录都包含一个键，一个值和一个时间戳。

下面是它的图

                        

 

一、安装的第一步

首先、应该先上传、解压。然后配置相应的配置文件，这里只需要配置server.properties即可，启动3台kafka Brokers，如下图所示

启动服务：在启动这个服务之前，先启动HDFS的各种节点，然后启动zookeeper服务，再启动kafka的服务，

创建topic并查看：bin/kafka-topics.sh --create --zookeeper bigdata-hpsk01.huadian.com:2181/kafka --replication-factor 2 --partitions 3 --topic testTopic88    
    --replication-factor 副本数量 < Broker 数量
    查看kafka集群中 topic数目
    bin/kafka-topics.sh --list --zookeeper bigdata-hpsk01.huadian.com:2181/kafka
    

   发送数据到topic中
    
    bin/kafka-console-producer.sh --broker-list hostname:9092,hostname:9093,hostname:9093 --topic testTopic88    
    
    从topic消费数据    
    bin/kafka-console-consumer.sh --zookeeper hostname:2181/kafka --topic testTopic88 --from-beginning

因为kafka的元数据是存储在zookeeper中，所以可以在zookeeper中去查看

这就说明安装成功了，可以往kafka写入数据了。