redhat7下kafka的安装与部署
安装JDK
Kafka需要依赖JAVA环境运行。
我这里是redhat7,不需要再安装java环境
下载Kafka版本
本文下载的是kafka_2.10-0.10.1.1.tgz版本,可以使用wget下载,也可以自行下载。
下载地址:http://kafka.apache.org/downloads
安装和配置
1、将包下载到相关的目录,然后解压Zookeeper到指定目录;
#cd /opt;
#tar -zxvf kafka_2.10-0.10.1.1.tgz;
2、配置日志:进入到/opt/kafka_2.10-0.10.1.1目录创建日志目录;
#cd /opt/kafka_2.10-0.10.1.1;
#mkdir logs;
3、修改kafka配置文件;
进入到/opt/kafka_2.10-0.10.1.1/config目录,修改server.properties。
#cd /opt/kafka_2.10-0.10.1.1/config;
#vi server.properties #编辑修改相应的参数
broker.id=0
port=9092 #端口号
host.name=127.0.0.1 #服务器IP地址,修改为自己的服务器IP
log.dirs=/opt/kafka_2.10-0.10.1.1/logs #日志存放路径,上面创建的目录
zookeeper.connect=localhost:2181 #zookeeper地址和端口,单机配置部署,localhost:2181
#:wq! #保存退出
port=9092 #端口号
host.name=127.0.0.1 #服务器IP地址,修改为自己的服务器IP
log.dirs=/opt/kafka_2.10-0.10.1.1/logs #日志存放路径,上面创建的目录
zookeeper.connect=localhost:2181 #zookeeper地址和端口,单机配置部署,localhost:2181
#:wq! #保存退出
4、启动Zookeeper:
Kafka支持内置的Zookeeper和引用外部的Zookeeper,本文使用外部的Zookeeper。
启动Zookeeper可以参考前面文章: Linux下Zookeeper的(单机)安装与简单测试。
5、Kafka操作。
(1)、启动kafka命令:
#cd /opt/kafka_2.10-0.10.1.1/bin;
# sudo ./kafka-server-start.sh /opt/kafka_2.10-0.10.1.1/config/server.properties &;
(2)、停止kafka命令:
#sudo ./kafka-server-stop.sh
(3)、创建Topic:(创建一个名为test的topic,只有一个副本,一个分区。)
#sudo ./kafka-topics.sh --create --zookeeper 127.0.0.1:2181 --replication-factor 1 --partitions 1 --topic test
(4)、列出所有Topic:
#sudo ./kafka-topics.sh -list -zookeeper 127.0.0.1:2181
(5)、启动Producer并发送消息:
#sudo ./kafka-console-producer.sh --broker-list localhost:9092 --topic test
(输入相应的消息,eg:hello kafka;按Ctrl+C结束)
(6)、启动Consumer并接收消息:
#sudo ./kafka-console-consumer.sh --zookeeper 127.0.0.1:2181 --topic test --from-beginning
Kafka 单机和分布式环境搭建与案例使用
- u010870518
- 2017-08-17 17:22:24
- 5259
实验环境: 1、Ubuntu Server 16.04 2、kafka_2.11-0.11.0.0 一、单机环境搭建官方参考文章:http://kafka.apache.org/qui...
Linux下搭建kafka环境
- aitcax
- 2015-11-02 11:27:44
- 13032
1.下载kafka Apache官网http://kafka.apache.org/downloads.html 最新版下载:点击下载 2.解压下载的kafka tar -xzf kafka_2.1...
人工智能!成为AI工程师都要经历什么?学习什么?
这一份AI学习路线图分享给大家,立即查看...
Windows平台kafka环境的搭建
- u010054969
- 2017-04-19 15:48:38
- 6748
注意:请确保本地Java环境变量配置成功1.安装Zookeeper Kafka的运行依赖于Zookeeper,所以在运行Kafka之前我们需要安装并运行Zookeeper 1.1...
Linux下kafka和zookeeper环境搭配
- u012382534
- 2017-03-08 17:19:54
- 697
一、安装zookeeper 1.下载zookeeper-3.3.6.tar.gz 2.解压 到/usr/server/zookeeper ---这里是你的zookeeper的安装目录 3.配置z...
分布式消息中间件(七)——Kafka安装及配置详解(Linux)
一、Zookeeper集群准备 Kafka服务有赖于Zookeeper来管理,故在安装kakfa前先安装zk集群环境。具体安装步骤,详见 Linux 系列(七)——Zookeeper集群搭建 二、Ka...
- Daybreak1209
- 2016-06-19 16:39:04
- 1349
kafka+zookeeper环境配置(linux环境单机版)
- u013244038
- 2016-12-15 15:11:23
- 1930
一.zookeeper下载与安装 1)下载 $ wget http://mirrors.cnnic.cn/apache/zookeeper/zookeeper-3.4.6/zookeeper-3....
windows下搭建Kafka运行环境
- u012050154
- 2017-07-28 18:23:33
- 1144
一、安装JDK 1.JDK下载路径 http://www.oracle.com/technetwork/java/javase/downloads/jdk8-downloads-2133151.h...
kafka环境搭建
- 2017年12月26日 15:53
- 133KB
- 下载
kafka运行环境的搭配与实践
- chenxun2009
- 2016-01-25 23:15:17
- 1017
接下来一步一步搭建Kafka运行环境。 Step 1: 下载Kafka 点击下载最新的版本并解压. > tar -xzf kafka_2.9.2-0.8.1.1.tgz > cd kafka_2.9...
kafka 源码运行环境搭建
- rigete
- 2015-11-05 15:23:55
- 2717
apache kafka 作为一款高吞吐量,分布式的消息中间件,在越来越多的互联网公司流行起来了,为了更好地熟悉和掌握kafka的运行原理和细节,可以搭建一套本地可运行的源码环境来熟悉kafka。 ...
kafka单机版环境搭建与测试
- jingshuigg
- 2014-04-24 22:44:13
- 8792
一、前期的准备 1.linux环境 在VMware 下安装了Ubuntu14.04(32位), 内存分配 :1G; 2.kafka下载 kafka官网下载kafka的压缩包,本文用的是 kafka_2...
Linux下搭建SkyEye_uClinux环境
- 2011年01月26日 12:29
- 320KB
- 下载
kafka linux下的集群安装
- wangguanyin98
- 2016-04-21 14:27:10
- 1610
第一步.kafka 集群安装环境准备 环境:CentOS6.5 集群环境: 192.168.139.130 master 192.168.1...
kafka本地环境的搭建,以及本地java测试的调用
kafka本地环境搭建与本地java代码测试 1、下载kafka https://www.apache.org/dyn/closer.cgi?path=/kafka/0.8.2.1/kafka_2....
- alexander_zhou
- 2015-10-18 21:54:31
- 2823
kafka windows环境的搭建之路
- zoubf
- 2016-04-12 15:16:17
- 6245
简介:kafka是一个分布式的、可分区的、可复制的消息系统,它常常用于处理日志信息,是Apache下的一个开源项目(觉得Apache简直太牛逼了。。) (一)基本的消息术语: ...
svn linux下搭建
- 2009年05月21日 13:28
- 30KB
- 下载
kafka本地测试环境搭建
- qhshiniba
- 2017-03-20 11:29:03
- 1058
Kafka(二):环境搭建&测试 需求 软件 步骤 本地zk启动 启动broker节点 创建topic如果已经存在就无需创建 查看当前topic列表 启动生产者 启动消费者 演示 模拟kafka发送日...
Docker下的Kafka学习之二:搭建集群环境
- boling_cavalry
- 2017-10-22 11:56:40
- 1814
Docker下搭建Kafka集群环境,并验证
Linux docker环境kafka集群搭建
- lylclz
- 2017-12-09 15:43:05
- 160
环境:宿主机ip: 192.168.50.113borker集群配置:broker1: 192.168.50.113:9091 broker2: 192.168.50.113:9092 broker3...
Kafka实践(三) java开发环境搭建
- csolo
- 2016-09-06 14:21:13
- 9702
前面已经部署好了Kafka集群(伪分布式),下面要进入java开发环境搭建。 一、环境描述 1、win10下 eclipse (kepler) 2、本机建立了虚拟机 系...
博主最新文章
更多文章博主热门文章
安装JDK
Kafka需要依赖JAVA环境运行。
我这里是redhat7,不需要再安装java环境
下载Kafka版本
本文下载的是kafka_2.10-0.10.1.1.tgz版本,可以使用wget下载,也可以自行下载。
下载地址:http://kafka.apache.org/downloads
安装和配置
1、将包下载到相关的目录,然后解压Zookeeper到指定目录;
#cd /opt;
#tar -zxvf kafka_2.10-0.10.1.1.tgz;
2、配置日志:进入到/opt/kafka_2.10-0.10.1.1目录创建日志目录;
#cd /opt/kafka_2.10-0.10.1.1;
#mkdir logs;
3、修改kafka配置文件;
进入到/opt/kafka_2.10-0.10.1.1/config目录,修改server.properties。
#cd /opt/kafka_2.10-0.10.1.1/config;
#vi server.properties #编辑修改相应的参数
broker.id=0
port=9092 #端口号
host.name=127.0.0.1 #服务器IP地址,修改为自己的服务器IP
log.dirs=/opt/kafka_2.10-0.10.1.1/logs #日志存放路径,上面创建的目录
zookeeper.connect=localhost:2181 #zookeeper地址和端口,单机配置部署,localhost:2181
#:wq! #保存退出
port=9092 #端口号
host.name=127.0.0.1 #服务器IP地址,修改为自己的服务器IP
log.dirs=/opt/kafka_2.10-0.10.1.1/logs #日志存放路径,上面创建的目录
zookeeper.connect=localhost:2181 #zookeeper地址和端口,单机配置部署,localhost:2181
#:wq! #保存退出
4、启动Zookeeper:
Kafka支持内置的Zookeeper和引用外部的Zookeeper,本文使用外部的Zookeeper。
启动Zookeeper可以参考前面文章: Linux下Zookeeper的(单机)安装与简单测试。
5、Kafka操作。
(1)、启动kafka命令:
#cd /opt/kafka_2.10-0.10.1.1/bin;
# sudo ./kafka-server-start.sh /opt/kafka_2.10-0.10.1.1/config/server.properties &;
(2)、停止kafka命令:
#sudo ./kafka-server-stop.sh
(3)、创建Topic:(创建一个名为test的topic,只有一个副本,一个分区。)
#sudo ./kafka-topics.sh --create --zookeeper 127.0.0.1:2181 --replication-factor 1 --partitions 1 --topic test
(4)、列出所有Topic:
#sudo ./kafka-topics.sh -list -zookeeper 127.0.0.1:2181
(5)、启动Producer并发送消息:
#sudo ./kafka-console-producer.sh --broker-list localhost:9092 --topic test
(输入相应的消息,eg:hello kafka;按Ctrl+C结束)
(6)、启动Consumer并接收消息:
#sudo ./kafka-console-consumer.sh --zookeeper 127.0.0.1:2181 --topic test --from-beginning