6步搞定基于Ubuntu Linux的Hadoop的安装与配置

Hadoop是我在Ubuntu-Linux下的入门玩具,反复安装过多次,从此大爱Ubuntu和VIM。本文面向的是Ubuntu-Linux和Hadoop新手,记录的是如何在多台计算机上搭建Hadoop集群,以两台为例。

1. 创建用户

必须保证所有的计算机的用户名是一样的,此处命名为。
那么我们有两个用户分布在, 两台计算机上:
@www.linuxidc.com_1-desktop
@www.linuxidc.com_2-desktop
2. 修改hostsifconfig命令后,我们知道了, 两台计算机的ip地址,此处为:
192.168.0.1
192.168.0.2

sudo vi /etc/hosts命令后,我们将两者的hosts文件原来IPv4的内容删除后都修改如下:
192.168.0.1
192.168.0.2

然后在两台计算机各自ping自己和对方,检验是否正确配置了hosts文件
ping
ping

注意:这一步如果出现问题的话很难察觉,我们到了后期通过hadoop dfsadmin -report命令的时候仔细观察两台计算机结果的差异才发现这里hosts文件设置出现的问题。
3. SSHsudo apt-get install ssh rsync

为了在ssh登录的时候不用输入口令,我们要生成公钥和私钥,并且把公钥加入授权

在~/目录下
mkdir .ssh
新建ssh的设置文件夹
cd .ssh
ssh-keygen -t rsa 
之后的几个选项全点回车
然后ls查看文件就能够看到生成了两个文件
id_rsa  id_rsa.pub
然后将公钥加入授权
cp id_rsa.pub authorized_keys
然后将.ssh整个文件夹复制到另外的计算机上 ,比如从本地拷贝到@www.linuxidc.com_2-desktop的~/目录下
scp -r ~/.ssh @www.linuxidc.com_2-desktop:~/
然后互相
ssh @www.linuxidc.com_1-desktop
ssh @www.linuxidc.com_2-desktop
如果不需要输入口令即可成功登录则配置成功 

注意:在安装hadoop成功后,如果需要重新配置.ssh文件,要确保所有hadoop相关进程是关闭的,否则ssh 时候会出现错误。
4. JDKOracle.com/technetwork/java/javase/downloads/index.html下载JDK
jdk-7u2-linux-i586.tar.gz
解压到~/目录下,然后设置环境变量
sudo vi /etc/profile
在文件的最后添加代码如下
JAVA_HOME=/home/www.linuxidc.com_/jdk1.7.0_02
export JRE_HOME=$JAVA_HOME/jre
export CLASSPATH=.:$JAVA_HOME/lib:$JRE_HOME/lib:$CLASSPATH
export PATH=$JAVA_HOME/bin:$JRE_HOME/bin:$PATH
每台计算机重复上面的步骤 (可以scp哦)

内容版权声明:除非注明,否则皆为本站原创文章。

转载注明出处:http://www.heiqu.com/psdyy.html