【图文详解】Hadoop集群搭建(CentOs6.3) (2)

准备好64位的lib包后做以下操作:

#解压到已经安装好的hadoop安装目录的lib/native 和 lib目录下 tar -zxvf hadoop-native-64-2.6.0.tar -C hadoop/lib/native tar -zxvf hadoop-native-64-2.6.0.tar -C hadoop/lib #配置环境变量 vi /etc/profile export HADOOP_COMMON_LIB_NATIVE_DIR=$HADOOP_HOME/lib/native export HADOOP_OPTS="-Djava.library.path=$HADOOP_HOME/lib" source /etc/profile #hadoop检测本地库 hadoop checknative –a

10、将hadoop和配置文件分别分发给另外三台机器(mini2,mini3,mini4)

scp -r /root/apps/hadoop mini2:/root/apps/ scp -r /root/apps/hadoop mini3:/root/apps/ scp -r /root/apps/hadoop mini4:/root/apps/ scp /etc/profile mini2:/etc/ scp /etc/profile mini3:/etc/ scp /etc/profile mini4:/etc/

不要忘记三台机器都要重新加载一下配置文件

11、初始化HDFS

hadoop namenode -format

12、批量启动/停止

#批量启动hdfs start-dfs.sh #批量停止hdfs stop-dfs.sh

【图文详解】Hadoop集群搭建(CentOs6.3)

【图文详解】Hadoop集群搭建(CentOs6.3)

【图文详解】Hadoop集群搭建(CentOs6.3)

【图文详解】Hadoop集群搭建(CentOs6.3)

#批量启动yarn strat-yarn.sh #批量停止yarn stop-yarn.sh

【图文详解】Hadoop集群搭建(CentOs6.3)

【图文详解】Hadoop集群搭建(CentOs6.3)

【图文详解】Hadoop集群搭建(CentOs6.3)

【图文详解】Hadoop集群搭建(CentOs6.3)

#单独启动或停止hdfs,yarn hadoop-daemon.sh start namenode hadoop-daemon.sh stop namenode hadoop-daemon.sh start datanode hadoop-daemon.sh stop datanode hadoop-daemon.sh start resourcemanager hadoop-daemon.sh stop resourcemanager hadoop-daemon.sh start nodemanager hadoop-daemon.sh stop nodemanager 总结

官网提供的版本本地库是32位的,在64位主机环境下无法执行。需要下载hadoop源码进行编译。

自己编译参考https://jingyan.baidu.com/article/ce436649fea8533772afd365.html

配置文件hdfs-site.xml可不做任何配置,使用默认即可

集群中每台机器都要记得修改/etc/hosts文件

集群中所有的机器配置环境变量后不要忘记source一下(因为本文的环境变量文件是通过scp命令传给各台机器的,很容易忘记source)

配置免密登录的时候不要忘记本机也配置上(将mini1的公钥发给mini1)(ssh-copy-id mini1)

如果哪台机器启动出错,可查看相应机器下的日志文件,根据错误信息百度查询解决方法(/root/apps/hadoop/logs/)(查看.log结尾的日志文件)

严格按照上述流程安装(包括目录创建以及目录的位置),可顺利完成集群的搭建

集群中各个端口

【图文详解】Hadoop集群搭建(CentOs6.3)

内容版权声明:除非注明,否则皆为本站原创文章。

转载注明出处:https://www.heiqu.com/wppzgw.html