Hadoop分布式集群的搭建的方法步骤(4)

后续的软件均可使用此方式配置。

在master节点:

$ sudo rm -r /usr/local/bigdata/hadoop-2.7.1/tmp   # 删除 Hadoop 临时文件,如果之前有启动过
$ sudo rm -r /usr/local/bigdata/hadoop-2.7.1/logs/*  # 删除日志文件,如果之前有启动过
$ tar -zcvf ~/bigdata.tar.gz /usr/local/bigdata/ # 先压缩再复制
$ scp ~/bigdata.tar.gz Slave01:/home/hadoop
$ scp ~/bigdata.tar.gz Slave02:/home/hadoop
$ scp ~/bashrc Slave01:/home/hadoop
$ scp ~/bashrc Slave02:/home/hadoop

在各个slave节点上

$ sudo mkdir /usr/local/bigdata
$ sudo chown -R hadoop:hadoop /usr/local/bigdata
$ tar -zxvf ~/bigdata.tar.gz -C /usr/local/bigdata
$ sudo source ~/.bashrc

9 启动Hadoop集群

在Master上执行

首次运行需要,执行

$ hdfs namenode -format

格式化名称节点,然后就可以启动hadoop了。

启动hadoop:

$ start-dfs.sh
$ start-yarn.sh
$ mr-jobhistory-daemon.sh start historyserver

使用jps查看启动的各个节点,缺少任何进程,都表示出错。

$ jps
3585 JobHistoryServer
2938 NameNode
3148 SecondaryNameNode
3308 ResourceManager
3629 Jps

浏览器查看:http://192.168.233.200:50070/

查看相关信息:$ hdfs dfsadmin -report

关闭hadoop:

$ stop-yarn.sh
$ stop-dfs.sh
$ mr-jobhistory-daemon.sh stop historyserver

如果有问题,重复如下命令:

$ stop-dfs.sh  # 关闭
$ rm -r /usr/local/bigdata/hadoop-2.7.1/tmp   # 删除 tmp 文件,注意这会删除 HDFS中原有的所有数据
$ hdfs namenode -format  # 重新格式化名称节点
$ start-dfs.sh # 重启

以上就是本文的全部内容,希望对大家的学习有所帮助,也希望大家多多支持黑区网络。

内容版权声明:除非注明,否则皆为本站原创文章。

转载注明出处:http://www.heiqu.com/1601.html