[Kafka基础]-- 在 mac os 10.14.2上安装 kafka-1.0.x
1、 前言
目前Kafka 的稳定大版本是 1.0.x,加上主流的CDH (CDH 5.13.0以上)和 HDP(hdp-3.x.x) 厂商的稳定版本也是使用 Kafka 1.0.x版本,所以,个人选择使用 Kafka-1.0.x 版本做安装测试。
2、环境准备
版本号 | 稳定性 | 发行日期 | 下载链接 | |
---|---|---|---|---|
Jdk | 1.8.0_171 | 稳定 | 2018-04-17 | 跳转页面 |
Zookeeper | 3.4.5 | 稳定 | 2012-11-18 | 跳转页面 |
Kafka | 1.0.1 | 稳定 | 2018-03-02 | 跳转页面 |
3、安装 Zookeeper
3.1 下载 zookeeper
cd /Volumes/d
sudo wget https://archive.apache.org/dist/zookeeper/zookeeper-3.4.5/zookeeper-3.4.5.tar.gz
3.2 解压安装
- 解压:sudo tar -zxvf zookeeper-3.4.5.tar.gz
- 修改 zookeeper 目录:sudo mv zookeeper-3.4.5 zookeeper
- 创建zoo.cfg文件:
cd /Volumes/d/zookeeper/conf
sudo touch zoo.cfg
- 在 zoo.cfg 文件中添加以下内容
tickTime=2000
dataDir=/Volumes/d/zookeeper/data
dataLogDir=/Volumes/d/zookeeper/logs
clientPort=2181
- 添加环境变量:sudo vim /etc/profile
# zookeeper
export PATH=$PATH:/Volumes/d/zookeeper/bin
生效: source /etc/profile
- 启动 zookeeper:sudo zkServer.sh start
- 链接zookeeper: sudo zkCli.sh -server 127.0.0.1:2181
4、安装Kafka
- 4.1下载:sudu wget https://archive.apache.org/dist/kafka/1.0.1/kafka_2.11-1.0.1.tgz
- 4.2 解压安装:
sudo tar -zxvf kafka_2.11-1.0.1.tgz
sudo mv kafka_2.11-1.0.1 kafka
- 添加环境变量:sudo vim /etc/profile
# kafka
export PATH=$PATH:/Volumes/d/kafka/bin
生效: source /etc/profile
- 启动 kafka
sudo kafka-server-start.sh /Volumes/d/kafka/config/server.properties
5、测试 Kafka
- 5.1 创建 kafka topic 并查看 topic
# 创建
kafka-topics.sh --create --zookeeper localhost:2181 --replication-factor 1 --partitions 1 --topic test
# 查看
kafka-topics.sh --list --zookeeper localhost:2181
- 5.2 生产消息
kafka-console-producer.sh --broker-list localhost:9092 --topic test
# 输入以下消息并回车即可
This is a message
This is another message
- 5.3 订阅消息
kafka-console-consumer.sh --bootstrap-server localhost:9092 --topic test --from-beginning
6、参考
6.1、Apache 软件下载
https://archive.apache.org/dist/kafka/
6.2、Apache 软件版本查询
https://issues.apache.org/jira/secure/BrowseProjects.jspa?selectedCategory=all&selectedProjectType=all
6.3 Apache kafka 安装指南
https://kafka.apache.org/quickstart