Hadoop完全分布式搭建datanode无法启动原因

3台虚拟机,一台master,两台salve。

第一次错误,查看日志,是hdfs-site.xml文件配置拼写错误。

第二次到第N次 都是  slave无法连接到master ,以下是我检查的方向:

1.master 和 slave的防火墙确认是关闭的。

2.再次检查配置文件:fs.default.name 和mapred.job.tracker  的value值  master和ip都试试。

3.再第一次发生错误修改完毕后,format namenode时无法成功,这是因为配置的dfs.name.dir和dfs.data.dir文件目录没有删除 ,需要手动删除master和slave的相关文件夹。

4.ssh连接。 配置完ssh无密码登陆之后 , 需要连接一次(第一次连接会让你输入yes?),这正是我花费时间最长的地方。master连接slave,slave也要连接master。之后再format,启动hadoop,jps查看进程 成功启动。

从这次搭建环境中,学会了试着分析日志找到问题,同时通过一步步排除可能的原因得到最后的原因。

相关阅读

Ubuntu 13.04上搭建Hadoop环境

Ubuntu 12.10 +Hadoop 1.2.1版本集群配置

Ubuntu上搭建Hadoop环境(单机模式+伪分布模式)

Ubuntu下Hadoop环境的配置

单机版搭建Hadoop环境图文教程详解

搭建Hadoop环境(在Winodws环境下用虚拟机虚拟两个Ubuntu系统进行搭建)

内容版权声明:除非注明,否则皆为本站原创文章。

转载注明出处:http://www.heiqu.com/5a1600fb1eeed0e7c062ee606b2eb90c.html