CentOS 6.7安装Hadoop 2.7.3

VMware建立虚拟机

建立虚拟机命名为master，可以参考 。

配置Java环境

网上同样很多教程

克隆虚拟机

在修改master的hosts,

192.168.197.132 master-01 192.168.197.133 slave-01 192.168.197.134 slave-02

然后克隆matser,分别命名为slave1,slave2。
现在有三台虚拟机
IP 虚拟机名称 用户
192.168.197.132 master yang
192.168.197.133 slave1 yang
192.168.197.134 slave2 yang

ssh免登陆

(1)CentOS默认没有启动ssh无密登录，去掉/etc/ssh/sshd_config其中2行的注释，每台服务器都要设置，
#RSAAuthentication yes
#PubkeyAuthentication yes
安装ssh
在master-01的机器上进入 yang用户 的 .ssh 目录
使用 ssh-keygen -t rsa 来生成公钥和私钥(连续回车，不设置密码)
把公钥文件复制到要访问的机器的yang的用户目录下的.ssh 目录
scp ~/.ssh/id_rsa.pub yang@master-01:/home/yang/.ssh/authorized_keys
scp ~/.ssh/id_rsa.pub yang@slave-01:/home/yang/.ssh/authorized_keys
scp ~/.ssh/id_rsa.pub yang@slave-02:/home/yang/.ssh/authorized_keys
检测是否可以不需要密码登陆
ssh localhost
ssh yang@master-01
ssh yang@slave-01
ssh yang@slave-02
这里只有master-01是master，如果有多个namenode，或者rm的话则需要打通所有master到其他剩余节点的免密码登陆。（将master-01的authorized_keys追加到02和03的authorized_keys）

配置安装Hadoop 2.7.3 下载Hadoop-2.7.3

下载Hadoop 2.7.3并解压到/usr/software目录下，在hadoop-2.7.3目录下新建hdfs，hdfs/data，hdfs/name，hdfs/temp目录。

配置core-site.xml <configuration> <property> <name>fs.defaultFS</name> <value>hdfs://master-01:9000</value> </property> <property> <name>hadoop.tmp.dir</name> <value>file:/usr/software/hadoop-2.7.3/tmp</value> </property> <property> <name>io.file.buffer.size</name> <value>131702</value> </property> </configuration> 配置mapred-site.xml <configuration> <property> <name>mapreduce.framework.name</name> <value>yarn</value> </property> <property> <name>mapreduce.jobhistory.address</name> <value>master-01:10020</value> </property> <property> <name>mapreduce.jobhistory.webapp.address</name> <value>master-01:19888</value> </property> </configuration> 配置yarn-site.xml <configuration> <property> <name>yarn.nodemanager.aux-services</name> <value>mapreduce_shuffle</value> </property> <property> <name>yarn.nodemanager.auxservices.mapreduce.shuffle.class</name> <value>org.apache.hadoop.mapred.ShuffleHandler</value> </property> <property> <name>yarn.resourcemanager.address</name> <value>master-01:8032</value> </property> <property> <name>yarn.resourcemanager.scheduler.address</name> <value>master-01:8030</value> </property> <property> <name>yarn.resourcemanager.resource-tracker.address</name> <value>master-01:8031</value> </property> <property> <name>yarn.resourcemanager.admin.address</name> <value>master-01:8033</value> </property> <property> <name>yarn.resourcemanager.webapp.address</name> <value>master-01:8088</value> </property> <!-- <property> <name>yarn.nodemanager.resource.memory-mb</name> <value>768</value> </property>--> </configuration> 设置slaves

修改hadoop-2.7.3/etc/hadoop下的slaves文件，添加我们之前建立好的两个slave

slave-01 slave-02

网上很多地方说需要设置hadoop-env.sh和yarn-env.sh的Java环境，我看了这两个文件的内容，已经帮我们配置好了，所以不用管。

配置完成

然后分别复制master下面的已经配置好的Hadoop-2.7.3到yang@slave-01和yang@slave02的/usr/software目录下。

启动