CentOS 7下Kafka集群安装

一、环境操作系统和软件版本介绍

1.环境操作系统为CentOS Linux release 7.2.1511 (Core)

可用cat /etc/RedHat-release查询

CentOS 7下Kafka集群安装

2.软件版本

Kafka版本为:0.10.0.0

二、软件的基础准备

由于Kafka集群需要依赖ZooKeeper集群来协同管理,所以需要事先搭建好ZK集群。此文主要介绍搭建Kafka集群环境。

三、详细安装搭建步骤

1.下载压缩包kafka_2.10-0.10.0.0.tgz到/data/soft目录

CentOS 7下Kafka集群安装

2.将kafka_2.10-0.10.0.0.tgz解压到/data/app/Kafka目录

tar –xzf kafka_2.10-0.10.0.0.tgz –C /data/app/kafkacluster

把文件夹重命名为19092,进入config目录,修改server.properties文件

CentOS 7下Kafka集群安装

3.用vi命令打开server.properties

1 [root@centos7 config]# vi server.properties

CentOS 7下Kafka集群安装

4.修改如下:

1 broker.id=0 2 port=19092 3 log.dirs=/data/app/kafkacluster/19093/bin/kafka-logs19092 4 zookeeper.connect=192.168.1.18:3001,192.168.1.18:3002,192.168.1.18:3003

CentOS 7下Kafka集群安装

CentOS 7下Kafka集群安装

CentOS 7下Kafka集群安装

其他两台服务器上的kafka同上,先修改文件夹名称(在此文另外两个文件夹名称为19093和19094)

CentOS 7下Kafka集群安装

再进入config目录,分别改server.properties名称为server1.properties和server2.properties

server1.properties中的配置需要改:

1 broker.id=1 2 port=19093 3 log.dirs=/data/app/kafkacluster/19093/bin/kafka-logs19093 4 zookeeper.connect=192.168.1.18:3001,192.168.1.18:3002,192.168.1.18:3003

server2.properties中的配置需要改:

1 broker.id=2 2 port=19094 3 log.dirs=/data/app/kafkacluster/19094/bin/kafka-logs19094 4 zookeeper.connect=192.168.1.18:3001,192.168.1.18:3002,192.168.1.18:3003

四、启动kafka&测试验证

1.首先启动独立的ZK集群,三台都要启动(./zkServer.sh start)

2.进入到kafka的bin目录,然后启动服务./kafka-server-start.sh ../config/server.properties (三台服务器都要启动)

1 ./kafka-server-start.sh ../config/server1.properties 2 ./kafka-server-start.sh ../config/server2.properties

CentOS 7下Kafka集群安装

另外,启动其他节点的时候,在最先开始启动的节点会显示其它节点加入的信息记录,如下所示:

1 [2017-01-18 14:44:24,352] INFO Partition [aaa,0] on broker 0: Expanding ISR for partition [aaa,0] from 0 to 0,1 (kafka.cluster.Partition) 2 [2017-01-18 14:44:37,065] INFO Partition [aaa,0] on broker 0: Expanding ISR for partition [aaa,0] from 0,1 to 0,1,2 (kafka.cluster.Partition)

CentOS 7下Kafka集群安装

3.验证启动进程

1 [root@centos7 bin]# jps 2 25778 Kafka 3 26132 Jps 4 25285 Kafka 5 25014 QuorumPeerMain 6 25064 QuorumPeerMain 7 25531 Kafka 8 25116 QuorumPeerMain

CentOS 7下Kafka集群安装

4.使用客户端进入zk

内容版权声明:除非注明,否则皆为本站原创文章。

转载注明出处:https://www.heiqu.com/3cb2b9f30f23243894ee6bad3adc6386.html