文档

链接：https://pan.baidu.com/s/1eLHBXs-V9bOmkAh9ZLXcAw 
提取码：dhcd

链接：https://pan.baidu.com/s/13dqujepEIPJ5r_0Z8ujSxw 
提取码：aq59

 

安装kafka

1. tar -zxvf .
2. 进入到config目录下修改server.properties

          broker.id

          listeners=PLAINTEXT://192.168.11.140:9092

          zookeeper.connect=192.168.11.140:2181,192.168.11.141:2181.192.168.11.138:2181

    3.启动

          sh kafka-server-start.sh -daemon ../config/server.properties

          sh kafka-server-stop.sh

创建topic

发送消息 

创建消费者

实现细节

消息有key（可为空）、value

 topic&Partition 

Topic是用于存储消息的逻辑概念，可以看作一个消息集合。每个topic可以有多个生产者向其推送消息，也可以有任意多个消费者消费其中的消息

Partition是以文件的形式存储在文件系统中，存储在kafka-log目录下，命名规则是：<topic_name>-<partition_id>

kafka的高吞吐量的因素

1. 顺序写的方式存储数据 ；
2. 批量发送；在异步发送模式中。kafka允许进行批量发送，也就是先讲消息缓存到内存中，然后一次请求批量发送出去。这样减少了磁盘频繁io以及网络IO造成的性能瓶颈

                batch.size 每批次发送的数据大小

                linger.ms  间隔时间

       3.零拷贝

消息从发送到落地保存，broker维护的消息日志本身就是文件目录，每个文件都是二进制保存，生产者和消费者使用相同的格式来处理。在消费者获取消息时，服务器先从硬盘读取数据到内存，然后把内存中的数据原封不懂的通过socket发送给消费者。虽然这个操作描述起来很简单，但实际上经历了很多步骤

 

日志策略、消息可靠性、副本机制 见文档

java代码

看视频8.2上或者

https://blog.****.net/q975583865/article/details/82078657