1 <configuration> 2 <property> 3 <name>dfs.replication</name> 4 <value>1</value> 5 </property> 6 <property> 7 <name>dfs.namenode.name.dir</name> 8 <value>file:/usr/local/hadoop/tmp/dfs/name</value> 9 </property> 10 <property> 11 <name>dfs.datanode.data.dir</name> 12 <value>file:/usr/local/hadoop/tmp/dfs/data</value> 13 </property> 14 </configuration>
修改 mapred-site.xml 配置文件:
1 <configuration> 2 <property> 3 <name>mapreduce.framework.name</name> 4 <value>yarn</value> 5 </property> 6 </configuration>
修改 yarn-site.xml 配置文件:
1 <configuration> 2 <property> 3 <name>yarn.nodemanager.aux-services</name> 4 <value>mapreduce_shuffle</value> 5 </property> 6 </configuration>
启动Hadoop配置完成,首次启动Hadoop时需要对NameNode格式化:
1 $ hdfs namenode -format
有这两个标志,则表示配置没问题,namenode已经格式化,可以启动Hadoop了。如果格式化错误,需要检查配置文件配置是否正确,最常见的问题就是配置文件里的拼写错误。
启动守护进程:
1 $ start-dfs.sh #启动hdfs,含NameNode、DataNode、SecondaryNameNode守护进程 2 $ start-yarn.sh #启动yarn,含ResourceManager、NodeManager 3 $ mr-jobhistory-daemon.sh start historyserver #开启历史服务器,才能在Web中查看任务运行情况
守护进程的启动情况可通过 jps 命令查看,查看所有的守护进程是否都正常启动。如果有未启动的守护进程,需要去 $HADOOP_HOME/logs 目录查看对应的守护进程启动的日志查找原因。
成功启动所有守护进程之后,通过Web界面 查看NameNode 和 DataNode 的信息,还可以在线查看HDFS文件。
YRAN启动之后(即 ResourceManager 和 NodeManager),也可以通过 查看管理资源调度,和查看Job的执行情况。
停止Hadoop1 $ stop-dfs.sh 2 $ stop-yarn.shResourceManager、NodeManager 3 $ mr-jobhistory-daemon.sh stop historyserver
Note:Hadoop常用的服务器管理命令脚本都可以在 $HADOOP_HOME/bin 和 $HADOOP_HOME/sbin 目录中找到。
下面关于Hadoop的文章您也可能喜欢,不妨看看:
Ubuntu14.04下Hadoop2.4.1单机/伪分布式安装配置教程
CentOS安装和配置Hadoop2.2.0