Kafka架構組成部分,kafaka特點(優點)
Kafka架構
partition :是物理概念:生產者會把數據分成不同的幾份,然後存到 partition 上
topic : 是抽象概念,他是不同節點上partition的總和
zookeeper :是存儲 kafka 元數據信息的,啓動kafka之前必須啓動zookeeper
編輯 vi /usr/local/ kafka_2.11-1.0.1/config/server.properties 修改文件保存的時間(默認是7天)
Kafka 優點
• 消息系统的特点:生产者消费者模型,FIFO 并不是严格意义上的先进先出。
• 高性能:单节点支持上千个客户端,百MB/s吞吐
• 持久性:消息直接持久化在普通磁盘上且性能好
数据保存在磁盘上凭什么快(kafka高性能的原因)
分布式 磁盘瓶颈翻倍
0拷贝技术
顺序写 写的速度非常的快
顺序读 读的速度非常的快
批量读批量写
• 分布式:数据副本冗余、流量负载均衡、可扩展
• 很灵活:消息长时间持久化+Client维护消费状态(server端 kafka端 clinet端消费者端)
注意: partition内部是FIFO 的,partition之间不是FIFO,当然我们可以把topic设为一个partition,这样就严格的FIFO