阿里云搭建服务器,内网、外网访问问题(详解。。。)

  这个问题花费了我将近两天的时间,经过多次是错和尝试,现在想分享给大家来解决此问题避免大家入坑,以前都是在局域网上搭建的hadoop集群,并且是局域网访问的,没遇见此问题。

因为阿里云上搭建的hadoop集群,需要配置映射集群经过内网访问,也就是局域网的ip地址。

  如果配置为公网IP地址,就会出现集群启动不了,namenode和secondarynamenode启动不了,如果将主机的映射文件配置为内网IP集群就可以正常启动了。但通过eclipse开发工具访问

会出错,显示了阿里云内网的ip地址来访问datanode,这肯定访问不了啊,这问题真实醉了,就这样想了找了好久一致没有思路。

  最终发现需要在hdfs-site.xml中修改配置项dfs.client.use.datanode.hostname设置为true,就是说客户端访问datanode的时候是通过主机域名访问,就不会出现通过内网IP来访问了

最初查看日志发现:

一、查看日志 1. less hadoop-hadoop-namenode-master.log 

阿里云搭建服务器,内网、外网访问问题(详解。。。)

 2.less hadoop-hadoop-secondarynamenode-master.log 

阿里云搭建服务器,内网、外网访问问题(详解。。。)

二、解决集群访问问题 1.查看hosts映射文件

阿里云搭建服务器,内网、外网访问问题(详解。。。)

上面是公网IP需要替换为内网IP

阿里云搭建服务器,内网、外网访问问题(详解。。。)

然后正常搭建hadoop集群

2.core-site.xml

<!-- 指定HADOOP所使用的文件系统schema(URI),HDFS的老大(NameNode)的地址 --> <property> <name>fs.defaultFS</name> <value>hdfs://master:9000</value> </property> <!-- 指定hadoop运行时产生文件的存储目录 --> <property> <name>hadoop.tmp.dir</name> <value>/home/hadoop/BigData/hadoop-2.7.3/data</value> </property>

内容版权声明:除非注明,否则皆为本站原创文章。

转载注明出处:https://www.heiqu.com/wpfpdf.html