准备好64位的lib包后做以下操作:
#解压到已经安装好的hadoop安装目录的lib/native 和 lib目录下 tar -zxvf hadoop-native-64-2.6.0.tar -C hadoop/lib/native tar -zxvf hadoop-native-64-2.6.0.tar -C hadoop/lib #配置环境变量 vi /etc/profile export HADOOP_COMMON_LIB_NATIVE_DIR=$HADOOP_HOME/lib/native export HADOOP_OPTS="-Djava.library.path=$HADOOP_HOME/lib" source /etc/profile #hadoop检测本地库 hadoop checknative –a10、将hadoop和配置文件分别分发给另外三台机器(mini2,mini3,mini4)
scp -r /root/apps/hadoop mini2:/root/apps/ scp -r /root/apps/hadoop mini3:/root/apps/ scp -r /root/apps/hadoop mini4:/root/apps/ scp /etc/profile mini2:/etc/ scp /etc/profile mini3:/etc/ scp /etc/profile mini4:/etc/不要忘记三台机器都要重新加载一下配置文件
11、初始化HDFS
hadoop namenode -format12、批量启动/停止
#批量启动hdfs start-dfs.sh #批量停止hdfs stop-dfs.sh #批量启动yarn strat-yarn.sh #批量停止yarn stop-yarn.sh #单独启动或停止hdfs,yarn hadoop-daemon.sh start namenode hadoop-daemon.sh stop namenode hadoop-daemon.sh start datanode hadoop-daemon.sh stop datanode hadoop-daemon.sh start resourcemanager hadoop-daemon.sh stop resourcemanager hadoop-daemon.sh start nodemanager hadoop-daemon.sh stop nodemanager 总结官网提供的版本本地库是32位的,在64位主机环境下无法执行。需要下载hadoop源码进行编译。
自己编译参考https://jingyan.baidu.com/article/ce436649fea8533772afd365.html
配置文件hdfs-site.xml可不做任何配置,使用默认即可
集群中每台机器都要记得修改/etc/hosts文件
集群中所有的机器配置环境变量后不要忘记source一下(因为本文的环境变量文件是通过scp命令传给各台机器的,很容易忘记source)
配置免密登录的时候不要忘记本机也配置上(将mini1的公钥发给mini1)(ssh-copy-id mini1)
如果哪台机器启动出错,可查看相应机器下的日志文件,根据错误信息百度查询解决方法(/root/apps/hadoop/logs/)(查看.log结尾的日志文件)
严格按照上述流程安装(包括目录创建以及目录的位置),可顺利完成集群的搭建
集群中各个端口