Hadoop 三台主机小集群建立详解

OS:RedHat 5.5 Enterprise

JDK:jdk1.6.0_32

Hadoop:Hadoop-0.20.2

VMWare:7.0

节点安排及网络拓扑:

节点类型      节点IP      节点hostname

master节点     192.168.40.5  master

slave节点      192.168.40.5  master(此时,master既是master节点,也是slave节点)

          192.168.40.6  salve1

          192.168.40.7  slave2

secondaryName节点192.168.40.5  master(此时,master既是master节点,也是slave节点,也是secondaryNameNode)

配置步骤:

一、网络配置

首先关闭三台虚拟机的防火墙,步骤可参考:关闭防火墙 见

先用VMWare安装三台虚拟机(可以先安装一台,然后clone两台),按照节点安排及网络拓扑配置网络,先配置master节点的网络:

① 静态网络IP配置见VMware Redhat网络配置 见 ,分别将三台虚拟机的IP进行设置

② 修改主机名:vi /etc/hosts(解析IP要用),添加

192.168.40.5 master
192.168.40.6 slave1
192.168.40.7 slave2

③ 按照此过程及相同数据(除了IP地址不同)对三台虚拟机进行配置

、 安装jdk

Hadoop 是用java开发的,Hadoop的编译及mapreduce的运行都需要使用JDK,所以JDK是必须安装的

① 下载jdk,Oracle.com/technetwork/java/javase/downloads/index.html

② 在用户根目录下,建立bin文件夹:mkdir ~/bin(也可放在其他处,个人习惯而已)

③ 改变执行权限:chmod u+x jdk-6u26-linux-i586.bin

④ 执行文件:sudo -s ./jdk-6u26-linux-i586.bin,一路确定

⑤ 配置环境变量:vi ~/.bash_profile,添加:

export JAVA_HOME=/root/bin/jdk1.6.0_32
export PATH=$PATH:$JAVA_HOME/bin

⑥ 使profile文件生效:source ~/.bash_profile

⑦ 验证是否配置成功:which java

[root@master ~]# which java
/root/bin/jdk1.6.0_32/bin/java 配置生效。也可输入java -version, java, javac进一步确定

⑧ 分别相同配置另外两台主机

<JDK Installation End>

三、建立ssh互信

hadoop 需要通过ssh互信来启动slave里表中各个主机的守护进程,所以SSH是必须安装的(redhat 5.5 Enterprise 以默认安装)。但是是否建立ssh互信(即无密码登陆)并不是必须的,但是如果不配置,每次启动hadoop,都需要输入密码以便登录到每台机器的Datanode上,而一般的hadoop集群动辄数百或数千台机器,因此一般来说都会配置ssh互信。

① 生成密钥并配置ssh无密码登陆主机(在master主机)

ssh -keygen -t dsa -P '' -f ~/.ssh/id_dsa

cat ~/.ssh/id_dsa.pub >> ~/.ssh/authorized_keys

② 将authorized_keys文件拷贝到两台slave主机

scp authorized_keys slave1:~/.ssh/

scp authorized_keys slave2:~/.ssh/

③ 检查是否可以从master无密码登陆slave机

ssh slave1(在master主机输入) 登陆成功则配置成功,exit退出slave1返回master

内容版权声明:除非注明,否则皆为本站原创文章。

转载注明出处:http://www.heiqu.com/99c35453763cb6b675d9fb7c0add7c9a.html