Hadoop2.6.0单机/伪分式安装部署(3)

1 <configuration> 2 <property> 3 <name>dfs.replication</name> 4 <value>1</value> 5 </property> 6 <property> 7 <name>dfs.namenode.name.dir</name> 8 <value>file:/usr/local/hadoop/tmp/dfs/name</value> 9 </property> 10 <property> 11 <name>dfs.datanode.data.dir</name> 12 <value>file:/usr/local/hadoop/tmp/dfs/data</value> 13 </property> 14 </configuration>

  修改 mapred-site.xml 配置文件:

1 <configuration> 2 <property> 3 <name>mapreduce.framework.name</name> 4 <value>yarn</value> 5 </property> 6 </configuration>

  修改 yarn-site.xml 配置文件:

1 <configuration> 2 <property> 3 <name>yarn.nodemanager.aux-services</name> 4 <value>mapreduce_shuffle</value> 5 </property> 6 </configuration>

 启动Hadoop

  配置完成,首次启动Hadoop时需要对NameNode格式化:

1 $ hdfs namenode -format

Hadoop2.6.0单机/伪分式安装部署

  有这两个标志,则表示配置没问题,namenode已经格式化,可以启动Hadoop了。如果格式化错误,需要检查配置文件配置是否正确,最常见的问题就是配置文件里的拼写错误。

  启动守护进程:

1 $ start-dfs.sh #启动hdfs,含NameNode、DataNode、SecondaryNameNode守护进程 2 $ start-yarn.sh #启动yarn,含ResourceManager、NodeManager 3 $ mr-jobhistory-daemon.sh start historyserver #开启历史服务器,才能在Web中查看任务运行情况

  守护进程的启动情况可通过 jps 命令查看,查看所有的守护进程是否都正常启动。如果有未启动的守护进程,需要去 $HADOOP_HOME/logs 目录查看对应的守护进程启动的日志查找原因。

Hadoop2.6.0单机/伪分式安装部署

  成功启动所有守护进程之后,通过Web界面 查看NameNode 和 DataNode 的信息,还可以在线查看HDFS文件。

  YRAN启动之后(即 ResourceManager 和 NodeManager),也可以通过 查看管理资源调度,和查看Job的执行情况。

 停止Hadoop

1 $ stop-dfs.sh 2 $ stop-yarn.shResourceManager、NodeManager 3 $ mr-jobhistory-daemon.sh stop historyserver

  Note:Hadoop常用的服务器管理命令脚本都可以在 $HADOOP_HOME/bin 和 $HADOOP_HOME/sbin 目录中找到。

下面关于Hadoop的文章您也可能喜欢,不妨看看:

Ubuntu14.04下Hadoop2.4.1单机/伪分布式安装配置教程 

CentOS安装和配置Hadoop2.2.0 

Ubuntu 14.04 LTS下安装Hadoop 1.2.1(伪分布模式)

Ubuntu上搭建Hadoop环境(单机模式+伪分布模式)

Ubuntu下Hadoop环境的配置

单机版搭建Hadoop环境图文教程详解

Hadoop 2.6.0 HA高可用集群配置详解 

Spark 1.5、Hadoop 2.7 集群环境搭建 

内容版权声明:除非注明,否则皆为本站原创文章。

转载注明出处:https://www.heiqu.com/ed88761829bca082bac6e2cde6cdcbb1.html