hadoop学习通过虚拟机安装hadoop完全分布式集群 (4)

hadoop学习通过虚拟机安装hadoop完全分布式集群

如上图所示,master已经可以通过ssh免密码登录至node1结点了。

对node2结点也可以用同样的方法进行,如下图:

Node2结点复制master结点中的公钥文件

hadoop学习通过虚拟机安装hadoop完全分布式集群

Master通过ssh免密码登录至node2结点测试:

第一次登录时:

hadoop学习通过虚拟机安装hadoop完全分布式集群

第二次登录时:

hadoop学习通过虚拟机安装hadoop完全分布式集群

表面上看,这两个结点的ssh免密码登录已经配置成功,但是我们还需要对主结点master也要进行上面的同样工作,这一步有点让人困惑,但是这是有原因的,具体原因现在也说不太好,据说是真实物理结点时需要做这项工作,因为jobtracker有可能会分布在其它结点上,jobtracker有不存在master结点上的可能性。

对master自身进行ssh免密码登录测试工作:

hadoop学习通过虚拟机安装hadoop完全分布式集群

hadoop学习通过虚拟机安装hadoop完全分布式集群

至此,SSH免密码登录已经配置成功。

四、下载并解压hadoop安装包

关于安装包的下载就不多说了,不过可以提一下目前我使用的版本为hadoop-0.20.2,

这个版本不是最新的,不过学习嘛,先入门,后面等熟练了再用其它版本也不急。而且《hadoop权威指南》这本书也是针对这个版本介绍的。

         注:解压后hadoop软件目录在/home/zhm/hadoop下

五、配置namenode,修改site文件

         在配置site文件之前需要作一些准备工作,下载java最新版的JDK软件,可以从oracle官网上下载,我使用的jdk软件版本为:jdk1.7.0_09,我将java的JDK解压安装在/opt/jdk1.7.0_09目录中,接着配置JAVA_HOME宏变量及hadoop路径,这是为了方便后面操作,这部分配置过程主要通过修改/etc/profile文件来完成,在profile文件中添加如下几行代码:

hadoop学习通过虚拟机安装hadoop完全分布式集群

然后执行:

hadoop学习通过虚拟机安装hadoop完全分布式集群

让配置文件立刻生效。上面配置过程每个结点都要进行一遍。

到目前为止,准备工作已经完成,下面开始修改hadoop的配置文件了,即各种site文件,文件存放在/hadoop/conf下,主要配置core-site.xml、hdfs-site.xml、mapred-site.xml这三个文件。

Core-site.xml配置如下:

hadoop学习通过虚拟机安装hadoop完全分布式集群

Hdfs-site.xml配置如下:

hadoop学习通过虚拟机安装hadoop完全分布式集群

接着是mapred-site.xml文件:

内容版权声明:除非注明,否则皆为本站原创文章。

转载注明出处:https://www.heiqu.com/zwgjsj.html