(一)kafka的介绍

(一)Kafka介绍

此文档为本人学习kafka记录
官方文档: https://kafka.apache.org/documentation/
参考资料:

Kafka简介

kafka 起初是由LinkedIn公司采用Scala语言开发的一个多分区,多副本,且基于ZK分布式消息系统,

现在已经被捐献给了Apache基金会.

  • kafka定义

    • Apache Kafka® is a distributed streaming platform. (分布式Stream平台)

Kafka功能

  • 消息订阅和发布

    • 类似于消息队列,企业消息传递
  • 消息的存储

    • Kafka会把接收到消息存储到磁盘上然后在进行操作
  • Process streams of records as they occur.(流式处理平台)

    • 这个作用暂时不是很清楚,待向后学习清楚来补回

Kafka中的几个概念

  • Kafka作为一个集群运行在一个或者多个可跨多个数据中心的服务器上
  • kafka集群以Topic类别来存储消息
  • 每一条记录由[key,value,timeStamp]组成

Kafka中的4个核心API

  • Producer API
    • 允许一个程序生产多个Topic
  • Consumer API
    • 允许消费者消费一个或多个Topic
  • Streams API
    • 从一个或多个Topic消耗的输入流,并产生一个输出流至一个或多个输出的主题,有效地变换所述输入流,以输出流。
  • Connector API
    • 允许构建和运行Kafka的Topic连接到现有的应用或者是数据系统中重用生产者和消费者

Kafka客户端和服务器端的的通讯协议

  • TCP

(一)kafka的介绍