2. SSH无密码访问配置
首先,我们先修改一下host文件,添加hostname与IP之间的对应关系,以方便我们访问。输入ipconfig命令查看IP配置信息:
然后,输入vi /etc/hosts,进入host文件并在末尾添加一行配置:
接下来,我们需要创建一个新的用户来安装Hadoop环境。首先,创建用户组;然后,新建Hadoop用户,并添加到Hadoop用户组中。
注意,在配置Hadoop环境之前,我们需要先关闭防火墙,首先查看防火墙状态:
关闭防火墙:
接下来是SSH无密码验证配置:
我们使用新创建的hadoop用户,并进入根目录下,一次输入一下命令,创建秘钥:
然后将公钥复制到认证文件中去
使用vi命令进行查看:
设置文件权限:
使用ssh访问当前节点,如果出现下图所示内容表示SSH无密码访问配置成功:
3. Hadoop伪分布环境搭建及配置
在这里,我选择把Hadoop安装到我们刚开始时创建的java目录里。我们先进入该目录,然后切换到我们的root用户,再使用wget命令实现在线下载:
由于是第一次使用,所以wget命令并没有安装,于是我们先安装此命令再进行下载:
安装完成后再次运行命令以下载Hadoop:
下载完后我们可用ls命令查看下载的安装包,然后解压该文件进行安装:
如图所示,解压成功并修改文件名为hadoop。
我们查看文件可知Hadoop文件权限为root用户,于是我们需要将文件权限赋给Hadoop用户。
接下来就是创建hadoop的数据目录,并将权限赋给hadoop用户。
hadoop的环境就基本搭建完毕了,然后我们需要修改一下hadoop的配置文件。
如上图大方框中所示的都是其配置文件,我们需要修改core-site.xml、hdfs-siteml配置文件(注意:一下所有文件修改都是用过vi+文件名指令进行)
接下来我们要编译一下文件:mapred-site.xml、yarn-site.xml和slaves文件。编辑mapred-site.xml文件之前我们要先执行cp mapred-site.xml.template mapred-site.xml命令以生成mapred-site.xml配置文件,然后分别用vi/vim命令进行编辑,分别添加一下内容:
以下指定DataNode和Namenode在同一节点上:
接下来,我们需要设置hadoop环境变量,此操作必须在root用户下操作,然后在配置文件末尾追加以下内容:
最后,我们使用resource /etc/profile命令使配置生效。到此为止,我们已经完成了hadoop的安装与配置工作。