RedHat 6.8 搭建 Hadoop 集群(2)

#打开全局环境变量设置 vim /etc/profile ​ #在文档最下方添加配置 JAVA_HOME=/usr/java/jdk1.8.0_65 CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar PATH=$PATH:$JAVA_HOME/bin export PATH JAVA_HOME CLASSPATH ​ #生效配置 source /etc/profile ​ #测试配置 java -version

配置成功：

node-1配置Hadoop

以下操作只要在node1上操作

安装Hadoop

使用tar.gz格式安装

复制到/usr/hop，没路径自行创建

#授予权限 chmod 700 hadoop-2.7.7.tar.gz ​ #解压到当前路径 [root@node-1 hop]# tar zxvf hadoop-2.7.7.tar.gz ​

配置Hadoop

配置目录：/usr/hop/hadoop-2.7.7/etc/hadoop

所有配置文件都在这里

我们一共需要配置：

hadoop-env.sh

core-site.xml

hdfs-site.xml

mapred-site.xml

yarn-site.xml

slaves

vim hadoop-env.sh

#在文件中找到JAVA_HOME，修改配置 export JAVA_HOME=/usr/java/jdk1.8.0_65

vim core-site.xml

hadoop.tmp.dir是导出目录，注意要手动创建/usr/hop/hadoop-2.7.7/data/

最好创建在hadoop的安装目录下

<configuration> <property> <name>fs.defaultFS</name> <value>hdfs://node-1:9000</value> </property> <property> <name>hadoop.tmp.dir</name> <value>/usr/hop/hadoop-2.7.7/data/hopdata</value> </property> </configuration>

注意不一样，别写错

vim hdfs-site.xml

dfs.replication是指默认备份的数量

<configuration> <property> <name>dfs.namenode.secondary.http-address</name> <value>node-2:50090</value> </property> <property> <name>dfs.replication</name> <value>2</value> </property> </configuration> ​

 mapred-site.xml

默认只有mapred-site.xml.template ，因此要改成mapred-site.xml

mv mapred-site.xml.template
vim mapred-site.xml

​

<!--指定mapreduce运行时框架，这里指定在yarn上，默认是local--> <configuration> <property> <name>mapreduce.framework.name</name> <value>yarn</value> </property> </configuration> ​

6. vim yarn-site.xml

​

<configuration> ​ <!-- Site specific YARN configuration properties --> <property> <!--指定YARN的主机(ResourceManager)的地址--> <name>yarn.resourcemanager.hostname</name> <value>node-1</value> </property> <property> <!--nodeManager上运行的附属服务，需要配置成maperduce_shuffle，才可用MapReduce程序--> <name>yarn.nodemanager.aux-services</name> <value>mapreduce_shuffle</value> </property> </configuration> ​

7. vim slaves

告诉hadoop有多少台机器

node-1 node-2

 

8. 配置Hadoop环境变量，和java的一样，配置以后整体如下