kafka和strom集群的环境安装

storm和kafka集群安装是没有必然联系的，我将这两个写在一起，是因为他们都是由zookeeper进行管理的，也都依赖于JDK的环境，为了不重复再写一遍配置，所以我将这两个写在一起。若只需一个，只需挑选自己选择的阅读即可。

这两者的依赖如下:

<strong>Storm集群：JDK1.8 , Zookeeper3.4，Storm1.1.1；

Kafa集群 : JDK1.8 ，Zookeeper3.4 ，Kafka2.12；

说明: Storm1.0 和Kafka2.0对JDK要求是1.7以上，Zookeeper3.0以上。

下载地址:
Zookeeper：
Storm:
Kafka:

JDK安装

每台机器都要安装JDK！！！
说明: 一般CentOS自带了openjdk，但是我们这里使用的是oracle的JDK。所以要写卸载openjdk，然后再安装在oracle下载好的JDK。如果已经卸载，可以跳过此步骤。
首先输入 java -version
查看是否安装了JDK，如果安装了，但版本不适合的话，就卸载

输入
rpm -qa | grep java
查看信息

然后输入:
rpm -e --nodeps “你要卸载JDK的信息”
如: rpm -e --nodeps java-1.7.0-openjdk-1.7.0.99-2.6.5.1.el6.x86_64

确认没有了之后，解压下载下来的JDK

tar -xvf jdk-8u144-linux-x64.tar.gz

移动到opt/java文件夹中，没有就新建，然后将文件夹重命名为jdk1.8。

mv jdk1.8.0_144 /opt/java mv jdk1.8.0_144 jdk1.8

然后编辑 profile 文件，添加如下配置
输入:

vim /etc/profile

添加:

export JAVA_HOME=http://www.likecs.com/opt/java/jdk1.8 export JRE_HOME=http://www.likecs.com/opt/java/jdk1.8/jre export CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar:$JRE_HOME/lib export PATH=.:${JAVA_HOME}/bin:$PATH

添加成功之后，输入

source /etc/profile java -version

查看是否配置成功

Zookeeper 环境安装 1，文件准备

将下载下来的Zookeeper 的配置文件进行解压
在linux上输入:

tar -xvf zookeeper-3.4.10.tar.gz

然后移动到/opt/zookeeper里面，没有就新建，然后将文件夹重命名为zookeeper3.4
输入

mv zookeeper-3.4.10 /opt/zookeeper mv zookeeper-3.4.10 zookeeper3.4 2，环境配置

编辑 /etc/profile 文件
输入:

export ZK_HOME=http://www.likecs.com/opt/zookeeper/zookeeper3.4 export PATH=.:${JAVA_HOME}/bin:${ZK_HOME}/bin:$PATH

输入:

source /etc/profile

使配置生效

3，修改配置文件 3.3.1 创建文件和目录

在集群的服务器上都创建这些目录

mkdir /opt/zookeeper/data mkdir /opt/zookeeper/dataLog

并且在/opt/zookeeper/data目录下创建myid文件
输入:

touch myid

创建成功之后，更改myid文件。
我这边为了方便，将master、slave1、slave2的myid文件内容改为1,2,3

3.3.2 新建zoo.cfg

切换到/opt/zookeeper/zookeeper3.4/conf 目录下
如果没有 zoo.cfg 该文件，就复制zoo_sample.cfg文件并重命名为zoo.cfg。
修改这个新建的zoo.cfg文件

dataDir=http://www.likecs.com/opt/zookeeper/data dataLogDir=http://www.likecs.com/opt/zookeeper/dataLog server.1=master:2888:3888 server.2=slave1:2888:3888 server.3=slave2:2888:3888

说明：client port，顾名思义，就是客户端连接zookeeper服务的端口。这是一个TCP port。dataLogDir里是放到的顺序日志(WAL)。而dataDir里放的是内存数据结构的snapshot，便于快速恢复。为了达到性能最大化，一般建议把dataDir和dataLogDir分到不同的磁盘上，这样就可以充分利用磁盘顺序写的特性。dataDir和dataLogDir需要自己创建，目录可以自己制定，对应即可。server.1中的这个1需要和master这个机器上的dataDir目录中的myid文件中的数值对应。server.2中的这个2需要和slave1这个机器上的dataDir目录中的myid文件中的数值对应。server.3中的这个3需要和slave2这个机器上的dataDir目录中的myid文件中的数值对应。当然，数值你可以随便用，只要对应即可。2888和3888的端口号也可以随便用，因为在不同机器上，用成一样也无所谓。
1.tickTime：CS通信心跳数
Zookeeper 服务器之间或客户端与服务器之间维持心跳的时间间隔，也就是每个 tickTime 时间就会发送一个心跳。tickTime以毫秒为单位。
tickTime=2000
2.initLimit：LF初始通信时限
集群中的follower服务器(F)与leader服务器(L)之间初始连接时能容忍的最多心跳数（tickTime的数量）。
initLimit=10
3.syncLimit：LF同步通信时限
集群中的follower服务器与leader服务器之间请求和应答之间能容忍的最多心跳数（tickTime的数量）。
syncLimit=5