Hadoop 2.2.0单节点的伪分布集成环境搭建(2)

  2. SSH无密码访问配置

  首先,我们先修改一下host文件,添加hostname与IP之间的对应关系,以方便我们访问。输入ipconfig命令查看IP配置信息:

Hadoop 2.2.0单节点的伪分布集成环境搭建

 

  然后,输入vi /etc/hosts,进入host文件并在末尾添加一行配置:

Hadoop 2.2.0单节点的伪分布集成环境搭建

 

  接下来,我们需要创建一个新的用户来安装Hadoop环境。首先,创建用户组;然后,新建Hadoop用户,并添加到Hadoop用户组中。

Hadoop 2.2.0单节点的伪分布集成环境搭建

  注意,在配置Hadoop环境之前,我们需要先关闭防火墙,首先查看防火墙状态:

Hadoop 2.2.0单节点的伪分布集成环境搭建

  关闭防火墙:

Hadoop 2.2.0单节点的伪分布集成环境搭建

   

Hadoop 2.2.0单节点的伪分布集成环境搭建

  接下来是SSH无密码验证配置:

  我们使用新创建的hadoop用户,并进入根目录下,一次输入一下命令,创建秘钥:

Hadoop 2.2.0单节点的伪分布集成环境搭建

 

Hadoop 2.2.0单节点的伪分布集成环境搭建

Hadoop 2.2.0单节点的伪分布集成环境搭建

  然后将公钥复制到认证文件中去

Hadoop 2.2.0单节点的伪分布集成环境搭建

  使用vi命令进行查看:

Hadoop 2.2.0单节点的伪分布集成环境搭建

  设置文件权限:

Hadoop 2.2.0单节点的伪分布集成环境搭建

  使用ssh访问当前节点,如果出现下图所示内容表示SSH无密码访问配置成功:

Hadoop 2.2.0单节点的伪分布集成环境搭建

  3. Hadoop伪分布环境搭建及配置

  在这里,我选择把Hadoop安装到我们刚开始时创建的java目录里。我们先进入该目录,然后切换到我们的root用户,再使用wget命令实现在线下载:

Hadoop 2.2.0单节点的伪分布集成环境搭建

  由于是第一次使用,所以wget命令并没有安装,于是我们先安装此命令再进行下载:

Hadoop 2.2.0单节点的伪分布集成环境搭建

  安装完成后再次运行命令以下载Hadoop:

Hadoop 2.2.0单节点的伪分布集成环境搭建

  下载完后我们可用ls命令查看下载的安装包,然后解压该文件进行安装:

Hadoop 2.2.0单节点的伪分布集成环境搭建

  如图所示,解压成功并修改文件名为hadoop。

Hadoop 2.2.0单节点的伪分布集成环境搭建

  我们查看文件可知Hadoop文件权限为root用户,于是我们需要将文件权限赋给Hadoop用户。

Hadoop 2.2.0单节点的伪分布集成环境搭建

  接下来就是创建hadoop的数据目录,并将权限赋给hadoop用户。

Hadoop 2.2.0单节点的伪分布集成环境搭建

  hadoop的环境就基本搭建完毕了,然后我们需要修改一下hadoop的配置文件。

Hadoop 2.2.0单节点的伪分布集成环境搭建

  如上图大方框中所示的都是其配置文件,我们需要修改core-site.xml、hdfs-siteml配置文件(注意:一下所有文件修改都是用过vi+文件名指令进行)

Hadoop 2.2.0单节点的伪分布集成环境搭建

 

Hadoop 2.2.0单节点的伪分布集成环境搭建

   接下来我们要编译一下文件:mapred-site.xml、yarn-site.xml和slaves文件。编辑mapred-site.xml文件之前我们要先执行cp mapred-site.xml.template mapred-site.xml命令以生成mapred-site.xml配置文件,然后分别用vi/vim命令进行编辑,分别添加一下内容:

Hadoop 2.2.0单节点的伪分布集成环境搭建

Hadoop 2.2.0单节点的伪分布集成环境搭建

   以下指定DataNode和Namenode在同一节点上:

Hadoop 2.2.0单节点的伪分布集成环境搭建

    接下来,我们需要设置hadoop环境变量,此操作必须在root用户下操作,然后在配置文件末尾追加以下内容:

Hadoop 2.2.0单节点的伪分布集成环境搭建

 

Hadoop 2.2.0单节点的伪分布集成环境搭建

    最后,我们使用resource /etc/profile命令使配置生效。到此为止,我们已经完成了hadoop的安装与配置工作。

内容版权声明:除非注明,否则皆为本站原创文章。

转载注明出处:https://www.heiqu.com/d5ebfe9a456db3481d631dcb97810be7.html