本次基于Hadoop2.6版本进行分布式配置,Linux系统是基于CentOS6.5 64位的版本。在此设置一个主节点和两个从节点。
准备3台虚拟机,分别为:
主机名
IP地址
master
192.168.80.10
slave1
192.168.80.11
slave2
192.168.80.12
1.修改主机名称,把三个节点分别修改下面的文件,修改主机名为master,slave1,slave2(root用户操作),重启生效
vi /etc/sysconfig/network
2.把三个节点的防火墙关闭,在三个节点分别执行(root用户操作)
/etc/init.d/iptables stop
3.在三个节点修改配置hosts文件,在hosts文件中分别配置三个节点的主机名 ip地址映射(root用户操作)
4.在master和slave之间配置SSH互信(hadoop用户操作)
分别在master和slave1,master和slave2,master和master之间配置互信
a) 分别在master、slave1、slave2执行下面的命令生成公钥和私钥
ssh-keygen
在hadoop用户根目录下,有一个.ssh目录
id_rsa 私钥
id_rsa.pub 公钥
known_hosts 通过SSH链接到本主机,都会在这里有记录
b) 在master输入下面的命令,和master,slave1,slave2创建互信
ssh-copy-id master
ssh-copy-id slave1
ssh-copy-id slave2
注意:复制的过程中需要输入信任主机的密码
!!!!每次ssh完都会进入其他的主机,千万在ssh完了以后退出对配置机器的远程控制,ctrl+d
5.把JDK和Hadoop安装包(资料包目录下的文件)上传到master节点系统(hadoop用户的根目录),用XFtp
6.在三个节点下面配置jdk。在hadoop用户的根目录,Jdk解压,(hadoop用户操作)
tar -zxvf jdk-8u65-linux-x64.tar.gz
7.三个节点配置环境变量,需要修改/etc/profile文件(root用户操作)
切到root用户,输入su命令
su
vi /etc/profile
进去编辑器后,输入i,进入vi编辑器的插入模式,在profile文件最后添加
Java_HOME=/home/hadoop/jdk1.8.0_65
export PATH=$PATH:$JAVA_HOME/bin
编辑完成后,按下esc退出插入模式
输入:,这时在左下角有一个冒号的标识
q 退出不保存
wq 保存退出
q! 强制退出
8.在三个节点把修改的环境变量生效(hadoop用户操作),jdk配置完成
source /etc/profile
9.下面配置hadoop,在hadoop用户的根目录,解压(hadoop用户操作)
tar -zxvf hadoop-2.6.0.tar.gz