集群Hadoop装机步骤小结

安装集群的机子不要一样版本的Ubuntu,但必须要有相同版本的Hadoop和jdk

所以这里首先要统一hadoop和jdk

我们团队用到的hadoop是:hadoop-0.20.203.0rcl.tar   jdk是:jdk-6u30-linux-i586.bin

声明:(netjava是我们小组统一的用户名)

步骤 :

第一:配置jdk环境

(1)

首先复制jdk-6u30-linux-i586.bin到netjava文件夹下,并在命令行中更改当前的目录到/home/netjava

(2)

第一行是赋权限的操作 第二行是解压jdk-6u30-linux-i586.bin文件

得到下图的结果则说明解压成功

集群Hadoop装机步骤小结

(3)

为了管理方便要统一解压后的jdk文件路径

第一行:在/usr/local下建立java文件夹

第二行:移动jdk1.6.0_30的文件夹到java文件夹下

(4)

更改环境变量,更改/etc/profile这个文件内容

添加下面一段到文件末尾

(注意我们这里的路径是/usr/local/java应该改成你自己的解压后的jdk的位置否则你的ubuntu关机后因配置环境错误无法进入)

(5)

查看是否配置是否成功

如果你的电脑上述方法遇到麻烦,可以重启后再在命令行输入java-version查看

第二:安装hadoop

(1)

准备工作

首先复制hadoop-0.20.203.0rcl.tar到netjava文件夹下,查看当前路径下的文件

集群Hadoop装机步骤小结

(2)

解压文件

第一行解压hadoop第二行移动解压后的hadoop-0.20.203.0文件到/usr/local下并改名为hadoop

集群Hadoop装机步骤小结

第三:新增haoop组和hadoop用户

(1)

A图添加用户组 B图添加用户名

(A)图

(B)图

集群Hadoop装机步骤小结

(2)

添加权限(使hadoop普通用户用户就能够执行root权限的所有命令sudoer是sudo工具的配置文件 )

打开此文件后添加如下内容

最后将hadoop文件夹的权限赋给hadoop用户:$:sudo chown hadoop /usr/local/hadoop()

(3)更新hadoop的环境变量

打开文件后将JAVA_HOME前的#去掉并将=后面的内容改成你的jdk路径(如下图所示)

集群Hadoop装机步骤小结

第四:安装ssh(更新ssh时需要联网

(1)

更新ssh软件包(我的已经安装过了,如没有安装的后面显示的内容是建议安装)

集群Hadoop装机步骤小结

(2)

先切换到hadoop用户可以直接在命令行输入su hadoop 也可以在关机菜单项中选择切换用户

(3)

创建公钥/私钥  并填写保存路径(/home/hadoop/.ssh/id_rsa)

(4)第一行是添加你的密钥添加到受信列表  第二行 启用这个密钥

(5)验证配置是否成功

集群Hadoop装机步骤小结

内容版权声明:除非注明,否则皆为本站原创文章。

转载注明出处:http://www.heiqu.com/pxwyw.html