Linux上搭建Hadoop2.6.3集群以及WIN7通过Eclipse开发M(6)

解决:可能是防火墙没有关闭,导致网络访问连接问题。需要关闭集群所有服务器防火墙:service iptables stop(注意这里是直接关闭防火墙,生成环境最好针对端口开放特定访问权限)

3、执行./sbin/start-dfs.sh报错:localhost: Error: JAVA_HOME is not set and could not be found.

解决:i ./etc/hadoop/hadoop-env.sh,新增:

export JAVA_HOME=/usr/java/jdk1.6.0_38

4、./sbin/start-dfs.sh执行后,如果“NameNode”、”DataNode” 、“SecondaryNameNode”进程没有启动成功,则查看对应/usr/local/hadoop/logs/目录下的日志。

5、/etc/hadoop/core-site.xml文件里fs.defaultFS如果配置为hdfs://localhost:9000等,有可能导致9000端口其他服务器不能telnet,导致莫名其妙的问题。

解决:通过在187上执行:netstat -ntl,查看到比如如下:

tcp        0      0 127.0.0.1:9000              0.0.0.0:*                  LISTEN   

说明9000端口被127.0.0.1监听,导致只能本机能连接9000端口,其他服务器不能连接,如果是:

tcp        0      0 0.0.0.0:9000              0.0.0.0:*                  LISTEN

则表示任何机器都可以连接9000端口。

6、Myeclipse连接DFS Locations下的Hadoop集群报错:An internal error occurred during: "Map/Reduce location status updater".

187上cd到/usr/local/hadoop下执行:./bin/hdfs dfs -mkdir -p /user/root/input

./bin/hdfs dfs -mkdir -p /user/root/output,这里还可能是插件包问题或系统环境变量HADOOP_USER_NAME没有设置为Master机器连接的用户名。

下面关于Hadoop的文章您也可能喜欢,不妨看看:

Ubuntu14.04下Hadoop2.4.1单机/伪分布式安装配置教程 

内容版权声明:除非注明,否则皆为本站原创文章。

转载注明出处:https://www.heiqu.com/d95e7b8a3c8953a66d5bc495a2a61601.html