记一次Hadoop安装部署过程 (5)

9.7 配置mapred-site.xml文件 9.7.1 复制mapred-site-template.xml文件：

[zkpk@master ~]$ cp ~/hadoop-2.7.3/etc/hadoop/mapred-site.xml.template ~/hadoop-2.7.3/etc/hadoop/mapred-site.xml

9.7.2 使用gedit编辑mapred-site.xml文件：

[zkpk@master ~]$ gedit ~/hadoop-2.7.3/etc/hadoop/mapred-site.xml

9.7.3 用下面的代码替换mapred-site.xml中的内容 <?xml version="1.0"?> <?xml-stylesheet type="text/xsl" href="http://www.likecs.com/configuration.xsl"?> <configuration> <property> <name>mapreduce.framework.name</name> <value>yarn</value> </property> </configuration>

9.8 配置slaves文件 9.8.1 使用gedit编辑slaves文件：

[zkpk@master ~]$ gedit ~/hadoop-2.7.3/etc/hadoop/slaves

9.8.2 将slaves文件中的内容用如下代码替换 slave01 slave02

9.9 创建Hadoop数据目录 [zkpk@master ~]$ cd [zkpk@master ~]$ mkdir hadoopdata 9.10 将配置好的hadoop文件夹复制到从节点 9.10.1 使用scp命令将文件夹复制到slave01、slave02上：

说明：因为之前已经配置了免密钥登录，这里可以直接免密钥远程复制。

[zkpk@master ~]$ scp -r hadoop-2.7.3 zkpk@slave01:~/ [zkpk@master ~]$ scp -r hadoop-2.7.3 zkpk@slave02:~/

复制完成后，可以在slave01和slave02上检验是否复制成功。

10 配置Hadoop环境变量

注意：在三台节点分别操作此步骤，使用zkpk用户权限

10.1 以master节点为例

[zkpk@master ~]$ gedit ~/.bash_profile

10.2 在.bash_profile末尾添加如下内容： #HADOOP export HADOOP_HOME=http://www.likecs.com/home/zkpk/hadoop-2.7.3 export PATH=$HADOOP_HOME/bin:$HADOOP_HOME/sbin:$PATH

10.3 使环境变量生效：

[zkpk@master ~]$ source ~/.bash_profile

11 格式化Hadoop文件目录（在master上执行） 11.1 格式化命令如下

[zkpk@master ~]$ hdfs namenode -format

12 启动Hadoop集群（在master上执行） 12.1 运行start-all.sh命令

说明：格式化后首次执行此命令，提示输入yes/no时，输入yes。

[zkpk@master ~]$ start-all.sh

12.2 查看进程是否启动 12.2.1 在master的终端执行jps命令，出现下图效果

注意：前面那些数字可能因为自己的实验环境不同而不同。

12.2.2 在slave01的终端执行jps命令，出现如下效果

12.2.3 在slave02的终端执行jps命令，出现如下效果

12.3 Web UI查看集群是否成功启动 12.3.1 在master上打开Firefox浏览器，在浏览器地址栏中输入:50070，检查namenode和 datanode 是否正常，如下图所示。