终于把Hadoop集群的环境搭建好了,搭建的流程和单机版基本差不多,但是搭建过程中也遇到了许多的困难,例如:ssh授权这块,搭建过程中,出现的问题很多,导致我耽误了好长的时间!现在我把我的搭建过程梳理一下,如果有什么问题,请多多指教!
一. 搭建环境前的准备:
我的本机Ubuntu 12.04 32bit作为maser,就是上篇hadoop单机版环境搭建时用的那台机子,
还在KVM中虚拟了4台机子,分别起名为:
son-1 (ubuntu 12.04 32bit),
son-2 (ubuntu 12.04 32bit),
son-3 (CentOS 6.2 32bit),
son-4 (RedHat 6.0 32bit).
下来修改本机的host文件,
sudo gedit /etc/hosts
在后面添加内容为:
192.168.200.150 master
192.168.200.151 son-1
192.168.200.152 son-2
192.168.200.153 son-3
192.168.200.154 son-4
现在开始我们的打建之旅吧。
二 . 为本机(master)和子节点(son..)分别创建hadoop用户和用户组,其实ubuntu和centos下创建用户还多少还是有点区别的。
ubuntu下创建:
先创建hadoop用户组:
sudo addgroup hadoop
然后创建hadoop用户:
sudo adduser -ingroup hadoop hadoop
centos 和 redhat 下创建:
sudo adduser hadoop
注:在centos 和 redhat下直接创建用户就行,会自动生成相关的用户组和相关文件,而ubuntu下直接创建用户,创建的用户没有家目录。
给hadoop用户添加权限,打开/etc/sudoers文件;
sudo gedit /etc/sudoers
按回车键后就会打开/etc/sudoers文件了,给hadoop用户赋予root用户同样的权限。
在root ALL=(ALL:ALL) ALL下添加hadoop ALL=(ALL:ALL) ALL,
hadoop ALL=(ALL:ALL) ALL
三. 为本机(master)和子节点(son..)安装JDK环境。
ubuntu下一条命令即可:
sudo apt-get install openjdk-6-jre
centos和redhat建议下载源码安装。
四. 修改 本机(master)和子节点(son..)机器名
打开/etc/hostname文件;
sudo gedit /etc/hostname
分别修改为:master son-1 son-2 son-3 son-4。这样有利于管理和记忆!