CentOS 7.2部署Elasticsearch+Kibana+Zookeeper+Kafka(2)

vim zoo.cfg
---------------------------------------
tickTime=2000
initLimit=10
syncLimit=5
# 数据保存目录
dataDir=/data/zookeeper-3.4.6/data
# 日志保存目录
dataLogDir=/data/zookeeper-3.4.6/logs
# 保留的快照个数
autopurge.snapRetainCount=20
# 保留的时间,单位小时
autopurge.purgeInterval=30
clientPort=2181
server.1=u04elk.yaya.corp:2888:3888
server.2=u04elk02.yaya.corp:2888:3888
server.3=u04elk03.yaya.corp:2888:3888
---------------------------------------

创建data和Log文件夹

mkdir /data/zookeeper-3.4.6/data
mkdir /data/zookeeper-3.4.6/logs

在zoo.cfg中的dataDir指定的目录下,新建myid文件。
例如:$ZK_INSTALL/data下,新建myid。在myid文件中输入1。表示为server.1。
cd /data/zookeeper-3.4.6/data/myid
touch myid
echo 1 > myid

将整个目录拷贝到其他节点,然后修改myid为各自的节点标示即可:
scp -P 2022 /data/zookeeper-3.4.6/ -r u04elk.yaya.corp:/data/

5.kafka配置
下载地址:
 
/data/kafka_2.9.2-0.8.2.1
# egrep -v "#|^$" config/server.properties
---------------------------------------
broker.id=1
port=9092
host.name=0.0.0.0
num.network.threads=3
 
num.io.threads=8
socket.send.buffer.bytes=102400
socket.receive.buffer.bytes=102400
socket.request.max.bytes=104857600
log.dirs=/tmp/kafka-logs
num.partitions=1
num.recovery.threads.per.data.dir=1
log.retention.hours=168
log.segment.bytes=1073741824
log.retention.check.interval.ms=300000
log.cleaner.enable=false
zookeeper.connect=u04elk.yaya.corp:2181,u04elk02.yaya.corp:2181,u04elk03.yaya.corp:2181
zookeeper.connection.timeout.ms=6000
---------------------------------------

只改zook和host.name,broker.id=1这三项,其他默认
zookeeper.connect=u04elk.yaya.corp:2181,u04elk02.yaya.corp:2181,u04elk03.yaya.corp:2181
host.name=0.0.0.0

启动
bin/kafka-server-start.sh config/server.properties &

注意:
broker.id=0  broker的id,每个kafka节点配置不能一样,可以0,1,2等
host.name=192.168.10.2  broker的hostname;如果hostname已经设置的话,broker将只会绑定到这个地址上;如果没有设置,它将绑定到所有接口,并发布一份到ZK。每台节点设置成当前节点的IP地址

将文件拷贝到其他节点,修改broker.id的值,在各节点中启动kafka:
scp -P 2022 /data/kafka_2.9.2-0.8.2.1 -r u04elk.yaya.corp:/data/

bin/kafka-server-start.sh config/server.properties &

zook启动报错:
# ./zkServer.sh status
JMX enabled by default
Using config: /data/zookeeper-3.4.6/bin/../conf/zoo.cfg
Error contacting service. It is probably not running.

网上的解决方案:

1.打开zkServer.sh 找到status)
STAT=`echo stat | nc localhost $(grep clientPort "$ZOOCFG" | sed -e 's/.*=//') 2> /dev/null| grep Mode`
在nc与localhost之间加上 -q 1 (是数字1而不是字母l)
如果已存在则去掉
注:在我的zkServer.sh脚本文件里根本没有这一行,所以没有生效

2.调用sh zkServer.sh status 遇到这个问题。百度,google了后发现有人是修改sh脚本里的一个nc的参数来解决,可在3.4.6的sh文件里并没有找到nc的调用。配置文档里指定的log目录没有创建导致出错,手动增加目录后重启,问题解决。
注:我想不是日志的问题所以这个方法根本就没有试

3.创建数据目录,也就是在你zoo.cfg配置文件里dataDir指定的那个目录下创建myid文件,并且指定id,改id为你zoo.cfg文件中server.1=localhost:2887:3887中的1.只要在myid头部写入1即可.
注:这是我的解决办法

实际的解决办法:
vim /etc/hosts

将本机对应的127.0.0.1和192.168.1.103 对应的主机名删除(主机名是正确的,但是无法启动,可能是绑定了127.0.0.1)

kafka在centos系统上的报错:
/data/kafka_2.9.2-0.8.2.1/zookeeper.out文件中的报错:Path:/admin/preferred_replica_election Error:KeeperErrorCode = NoNode for /admin/preferred_replica_election

内容版权声明:除非注明,否则皆为本站原创文章。

转载注明出处:https://www.heiqu.com/84b8a66ccca3b5e72b8d160c5edaba97.html