【图文详解】Hadoop集群搭建（CentOs6.3） (2)

准备好64位的lib包后做以下操作：

#解压到已经安装好的hadoop安装目录的lib/native 和 lib目录下 tar -zxvf hadoop-native-64-2.6.0.tar -C hadoop/lib/native tar -zxvf hadoop-native-64-2.6.0.tar -C hadoop/lib #配置环境变量 vi /etc/profile export HADOOP_COMMON_LIB_NATIVE_DIR=$HADOOP_HOME/lib/native export HADOOP_OPTS="-Djava.library.path=$HADOOP_HOME/lib" source /etc/profile #hadoop检测本地库 hadoop checknative –a

10、将hadoop和配置文件分别分发给另外三台机器（mini2，mini3，mini4）

scp -r /root/apps/hadoop mini2:/root/apps/ scp -r /root/apps/hadoop mini3:/root/apps/ scp -r /root/apps/hadoop mini4:/root/apps/ scp /etc/profile mini2:/etc/ scp /etc/profile mini3:/etc/ scp /etc/profile mini4:/etc/

不要忘记三台机器都要重新加载一下配置文件

11、初始化HDFS

hadoop namenode -format

12、批量启动/停止

#批量启动hdfs start-dfs.sh #批量停止hdfs stop-dfs.sh

#批量启动yarn strat-yarn.sh #批量停止yarn stop-yarn.sh

#单独启动或停止hdfs，yarn hadoop-daemon.sh start namenode hadoop-daemon.sh stop namenode hadoop-daemon.sh start datanode hadoop-daemon.sh stop datanode hadoop-daemon.sh start resourcemanager hadoop-daemon.sh stop resourcemanager hadoop-daemon.sh start nodemanager hadoop-daemon.sh stop nodemanager 总结

官网提供的版本本地库是32位的，在64位主机环境下无法执行。需要下载hadoop源码进行编译。

自己编译参考https://jingyan.baidu.com/article/ce436649fea8533772afd365.html

配置文件hdfs-site.xml可不做任何配置，使用默认即可

集群中每台机器都要记得修改/etc/hosts文件

集群中所有的机器配置环境变量后不要忘记source一下（因为本文的环境变量文件是通过scp命令传给各台机器的，很容易忘记source）

配置免密登录的时候不要忘记本机也配置上（将mini1的公钥发给mini1）（ssh-copy-id mini1）

如果哪台机器启动出错，可查看相应机器下的日志文件，根据错误信息百度查询解决方法（/root/apps/hadoop/logs/）(查看.log结尾的日志文件)

严格按照上述流程安装（包括目录创建以及目录的位置），可顺利完成集群的搭建

集群中各个端口