Hadoop全分布安装配置及常见问题(4)

十、在NameNode启动Hadoop

start-all.sh

如果你发现要在HADOOP_HOME/bin/下使用./start-all 命令才能成功,那么检查你的/etc/profile文件的配置是否正确。

十一、看系统是否正常工作

1、hadoop dfsadmin -report

如果出现乱码,则说明没正常工作,检查NameNode及各个节点的自己查看错误原因,很可能是以上配置出错。

2、使用浏览器,localhost:50070,看是否出现正常页面。

3、hadoop dfsadmin -put 文件名 /user 是否成功执行

4、jps查看守护进程是否正常启动。


常见错误(以下的错误仅是可能的原因,是我犯过的错误):

一般的纠错总结成一句话:查看日志。

 SecondaryNameNode没起来,查看日志说:文件夹CheckPoint.dir不存在,原因可能是hdfs-site.xml配置错误。 在关闭hadoop前format了,造成format后hdfs不可用,则可能需要删除所有机子上的数据文件,包括/tmp下的。 balancer.Balancer:Error moving block……没有到主机的路由。原因:防火墙[没关]。 新增datanode节点,启动Hadoop发现新datanode没启动,查看其上日志发现:datanodeName:未知的名称或服务。原因:hosts配置有误。 运行Job时发现,有一个task被Killed了两次,在TaskLogs[在hostname:50030中查看]看到抛出org.apache.hadoop.mapred.ReduceTask:java net.unknownHostException:datanode;原因:复制数据时节点间交流出问题,因hosts在所有节点中没有保持一致造成。

内容版权声明:除非注明,否则皆为本站原创文章。

转载注明出处:http://www.heiqu.com/c53040e4578c579e325936c3abcea793.html