RedHat 6.8 搭建 Hadoop 集群(4)

[root@binghe ~]# whereis libc.so.6 libc.so: /lib64/libc.so.6 /usr/lib64/libc.so [root@binghe ~]# rm -rf /lib64/libc.so.6 ###注意：删除/lib64/libc.so.6软链接之后，不要关闭当前会话，否则将登录不上系统，切记切记切记！ ###直接执行以下代码 [root@binghe ~]# LD_PRELOAD=/usr/local/glibc-2.14/lib/libc-2.14.so ln -s /usr/local/glibc-2.14/lib/libc-2.14.so /lib64/libc.so.6

再启动：不再报错了！

3.启动yarn集群

同理定位到安装目录的sbin，启动yarn,sh

cd /usr/hop/hadoop-2.7.7/sbin/ start-yarn.sh

4.全局输入jps检查

正常是这样的

如果发现node-1没有执行namenode

 可以查看namenode启动日志，根据日志记录再去看怎么解决

#在安装目录下找到Logs文件夹 cd /usr/hop/hadoop-2.7.7/logs/ #打开hadoop-root-namenode-node-1.log日志 vim hadoop-root-namenode-node-1.log

5.如果想单节点启动，可以使用以下命令（一般不使用）：

也要在sbin目录下执行

#在主节点上使用以下命令启动HDFS NameNode： hadoop-daemon.sh start namenode #在每个从节点上使用以下命令启动HDFS DataNode： hadoop-daemon.sh start datanode #在主节点上使用以下命令启动YARN ResourceManager： yarn-daemon.sh start resourcemanager #在每个从节点上使用以下命令启动YARN nodemanager： yarn-daemon.sh start nodemanager #以上脚本位于$HADOOP_PREFIX/sbin/目录下。如果想要停止某个节点上某个角色，只需要把命令中的start改为stop即可。

6.登录web.ui 1.在浏览器输入 node-1:50070

该网址是hdfs集群的网络管理端口

如果这一步不行，检查namenode是否正确启动！

2.在浏览器输入 node-1:8088

打开yarn集群的管理端口

3.在浏览器输入node-2:50090。

4.如果node-2:50090登录不上

在node-2查看node启动日志

#查看方式和上文node-1的一样，只是��再node-2机器上找，而且找的是node-2中执行的是SecondaryNameNode日志
#在安装目录下找到Logs文件夹 cd /usr/hop/hadoop-2.7.7/logs/

发现提示：

Call From node-2/192.168.98.130 to node-1:9000
failed on connection exception: java.net.ConnectException:
Connection refused; For more details see: http://wiki.apache.org/hadoop/ConnectionRefused

说明主机9000端口登录不进去

回到主机检查

#查看端口 netstat -tlpn

发现9000端口是在127.0.0.1后面，说明此使其他机器访问不了，只能通过本机访问（如果是正确的，应该192.168.X.X）

验证是否连不上

#使用telnet命令验证 telnet node-1 9000 #发现确实连不上 Trying ::1... telnet: connect to address ::1: Connection refused Trying 127.0.0.1... Connected to node-1. #如果没有安装telnet,使用yum命令安装 yum install telnet-server yum install telnet.*

修改/etc/hosts文件，发现原来是笔者修改别的错误时，错误的在前两行后面加上node-1，只要去掉如图就可以了。

关闭Hadoop集群，重启机器，打开Hadoop集群，登录成功了

Hadoop重要配置解析 基本信息

安装时，我们配置了

hadoop-env.sh

core-site.xml

hdfs-site.xml

mapred-site.xml

yarn-site.xml

slaves

其中 xxx-site.xml文件，在官网目录最下方，可以找到响应的xxx-default.xml文件，如果用户没有更改，那么这里面的选项会生效

site中配置了，就会覆盖了默认的配置选项

Deprecated Properties中写了过时的配置。

1.core-site.xml

集群全局参数，用于定义系统级别的参数，如HDFS URL、Hadoop的临时目录等