CentOS 7安装Hadoop 3.0.0

最近在学习大数据，需要安装Hadoop，自己弄了好久，最后终于弄好了。网上也有很多文章关于安装Hadoop的，但总会遇到一些问题，所以把在CentOS 7安装Hadoop 3.0.0的整个过程记录下来，有什么不对的地方大家可以留言更正。

　　一、ssh免密登录

1、测试是否能免密登录

　　　　　　# ssh localhost

The authenticity of host 'localhost (::1)' can't be established.

2、设置免密登录

1)、去掉 /etc/ssh/sshd_config中的两行注释，如没有则添加，所有服务器都要设置的：

　　　　　　　　#RSAAuthentication yes 　　　　　　　　#PubkeyAuthentication yes

2)、生成秘钥：

# ssh-keygen -t rsa

备注：输入命令后回车4次

3)、复制到公共密钥中：

# cp /root/.ssh/id_rsa.pub /root/.ssh/authorized_keys

4)、将秘钥复制到目标服务器：

# ssh-copy-id 目标服务器IP

5)、测试：（没有报错，并没有提示输入目标服务器用户密码，用户切换到目标服务器用户名则成功）

# ssh 目标服务器IP

备注：配置好了hadoop1到hadoop2免密登录，同时需要配置hadoop2到hadoop1的免密登录，在hadoop2上操作，过程同上

　　二、安装JDK

hadoop-3.0.0需要jdk1.8，此处省略安装过程，网上很多，过程也比较简单

　　三、安装hadoop

1、下载hadoop：

2、解压安装：

　1)、复制 hadoop-3.0.0.tar.gz 到/usr/hadoop目录下， 然后

　　#tar -xzvf hadoop-3.0.0.tar.gz

解压，解压后目录为：/usr/hadoop/hadoop-3.0.0，Hadoop 解压后即可使用。输入如下命令来检查 Hadoop 是否可用，成功则会显示 Hadoop 版本信息：

#cd /usr/hadoop/hadoop-3.0.0 　　　　　　　　#./bin/hadoop version

2），在/usr/hadoop/目录下，建立tmp：

#mkdir /usr/hadoop/tmp

3)、设置环境变量：

#vi /etc/profile
　　　　　　　　# set hadoop path
　　　　　　　　export HADOOP_HOME=/usr/hadoop/hadoop-3.0.0
　　　　　　　　export PATH=$PATH:$HADOOP_HOME/bin

4)、使环境变量生效，终端中运行如下命令：

#source /etc/profile

5)、设置hadoop：　　　　　

一共需要配置主要的6个文件：

　　hadoop-3.0.0/etc/hadoop/hadoop-env.sh 

　　hadoop-3.0.0/etc/hadoop/yarn-env.sh 

　　hadoop-3.0.0/etc/hadoop/core-site.xml 

　　hadoop-3.0.0/etc/hadoop/hdfs-site.xml 

　　hadoop-3.0.0/etc/hadoop/mapred-site.xml 

　　　　　　　　　　hadoop-3.0.0/etc/hadoop/yarn-site.xml

　　　　　　　　⑴、配置hadoop-env.sh：

　　　　　　　　　　# The java implementation to use. 　　　　　　　　　　#export JAVA_HOME=${JAVA_HOME} 　　　　　　　　　　export JAVA_HOME=/usr/java/jdk1.8.0_152 //根据自己jdk安装目录配置

⑵、配置yarn-env.sh：

　　　　　　　　　　#The java implementation to usr 　　　　　　　　　　export JAVA_HOME=/usr/java/jdk1.8.0_152 //根据自己jdk安装目录配置

⑶、配置core-site.xml：

　　<!-- 指定HADOOP所使用的文件系统schema（URI），HDFS的老大（NameNode）的地址 -->
　　　　　　　　　　<configuration> 　　　　　　　　　　　<property> 　　　　　　　　　　<name>fs.default.name</name> 　　　　　　　　　　<value>hdfs://localhost:9000</value> 　　　　　　　　　　<description>HDFS的URI，文件系统://namenode标识:端口号</description> 　　　　　　　　　　　　</property> 　　　　　　　　　　　　<property> 　　　　　　　　　　<name>hadoop.tmp.dir</name> 　　　　　　　　　　<value>/usr/hadoop/tmp</value> 　　　　　　　　　　<description>namenode上本地的hadoop临时文件夹</description> 　　　　　　　　　　　　</property> 　　　　　　　　　　</configuration>

⑷、配置hdfs-site.xml：