OS:RedHat 5.5 Enterprise
JDK:jdk1.6.0_32
Hadoop:Hadoop-0.20.2
VMWare:7.0
节点安排及网络拓扑:
节点类型 节点IP 节点hostname
master节点 192.168.40.5 master
slave节点 192.168.40.5 master(此时,master既是master节点,也是slave节点)
192.168.40.6 salve1
192.168.40.7 slave2
secondaryName节点192.168.40.5 master(此时,master既是master节点,也是slave节点,也是secondaryNameNode)
配置步骤:
一、网络配置
先用VMWare安装三台虚拟机(可以先安装一台,然后clone两台),按照节点安排及网络拓扑配置网络,先配置master节点的网络:
① 静态网络IP配置见VMware Redhat网络配置 见 ,分别将三台虚拟机的IP进行设置
② 修改主机名:vi /etc/hosts(解析IP要用),添加
192.168.40.5 master
192.168.40.6 slave1
192.168.40.7 slave2
③ 按照此过程及相同数据(除了IP地址不同)对三台虚拟机进行配置
二、 安装jdk
Hadoop 是用java开发的,Hadoop的编译及mapreduce的运行都需要使用JDK,所以JDK是必须安装的
① 下载jdk,Oracle.com/technetwork/java/javase/downloads/index.html
② 在用户根目录下,建立bin文件夹:mkdir ~/bin(也可放在其他处,个人习惯而已)
③ 改变执行权限:chmod u+x jdk-6u26-linux-i586.bin
④ 执行文件:sudo -s ./jdk-6u26-linux-i586.bin,一路确定
⑤ 配置环境变量:vi ~/.bash_profile,添加:
export JAVA_HOME=/root/bin/jdk1.6.0_32
export PATH=$PATH:$JAVA_HOME/bin
⑥ 使profile文件生效:source ~/.bash_profile
⑦ 验证是否配置成功:which java
[root@master ~]# which java
/root/bin/jdk1.6.0_32/bin/java 配置生效。也可输入java -version, java, javac进一步确定
⑧ 分别相同配置另外两台主机
<JDK Installation End>
三、建立ssh互信
hadoop 需要通过ssh互信来启动slave里表中各个主机的守护进程,所以SSH是必须安装的(redhat 5.5 Enterprise 以默认安装)。但是是否建立ssh互信(即无密码登陆)并不是必须的,但是如果不配置,每次启动hadoop,都需要输入密码以便登录到每台机器的Datanode上,而一般的hadoop集群动辄数百或数千台机器,因此一般来说都会配置ssh互信。
① 生成密钥并配置ssh无密码登陆主机(在master主机)
ssh -keygen -t dsa -P '' -f ~/.ssh/id_dsa
cat ~/.ssh/id_dsa.pub >> ~/.ssh/authorized_keys
② 将authorized_keys文件拷贝到两台slave主机
scp authorized_keys slave1:~/.ssh/
scp authorized_keys slave2:~/.ssh/
③ 检查是否可以从master无密码登陆slave机
ssh slave1(在master主机输入) 登陆成功则配置成功,exit退出slave1返回master