在Ubuntu上搭建Hadoop群集(2)

# Java Env
export JAVA_HOME=/usr/lib/jvm/java-7-openjdk-amd64
export JRE_HOME=$JAVA_HOME/jre
export CLASSPATH=.:$JAVA_HOME/lib/tools.jar:$JAVA_HOME/lib/dt.jar:$JRE_HOME/lib
export PATH=$PATH:$JAVA_HOME/bin:$JRE_HOME/bin

# Hadoop Env
export HADOOP_HOME=/usr/local/hadoop
export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin

3.2进入Hadoop的配置文件夹：

cd /usr/local/hadoop/etc/hadoop

（1）修改hadoop-env.sh

增加如下配置：

export JAVA_HOME=/usr/lib/jvm/java-7-openjdk-amd64

export HADOOP_PREFIX=/usr/local/hadoop

（2）修改core-site.xml

<configuration>
<property>
  <name>hadoop.tmp.dir</name>
  <value>/home/hduser/temp</value>
  <description>A base for other temporary directories.</description>
</property>

<property>
  <name>fs.defaultFS</name>
  <value>hdfs://master:9000</value>
</property>
</configuration>

这里我们指定了一个临时文件夹的路径，这个路径必须存在，而且有权限访问，所以我们在hduser下创建一个temp目录。

（3）hdfs-site.xml

设置HDFS复制的数量

<configuration>
<property>
  <name>dfs.replication</name>
  <value>3</value>
</property>
</configuration>

（4）mapred-site.xml

这里可以设置MapReduce的框架是YARN：

<configuration>
<property>
  <name>mapreduce.framework.name</name>
  <value>yarn</value>
</property>
</configuration>

（5）配置YARN环境变量，打开yarn-env.sh 里面有很多行，找到JAVA_HOME，设置： export JAVA_HOME=/usr/lib/jvm/java-8-openjdk-amd64 （6）配置yarn-site.xml

<configuration>

<!-- Site specific YARN configuration properties -->
    <property>
        <name>yarn.nodemanager.aux-services</name>
        <value>mapreduce_shuffle</value>
    </property>
    <property>
        <name>yarn.resourcemanager.hostname</name>
        <value>master</value>
    </property>
</configuration>

（7）最后打开slaves文件，设置有哪些slave节点。

由于我们设置了3份备份，把master即是Name Node又是Data Node，所以我们需要设置三行：

master
slave01
slave02

3.3配置slave01和slave02

在slave01和slave02上做前面3.1 3.2相同的设置。

一模一样的配置，这里不再累述。

4.启动Hadoop

回到Master节点，我们需要先运行

hdfs namenode –format

格式化NameNode。

然后执行

start-all.sh

这里Master会启动自己的服务，同时也会启动slave01和slave02上的对应服务。

启动完毕后我们在master上运行jps看看有哪些进程，这是我运行的结果：

2194 SecondaryNameNode
2021 DataNode
1879 NameNode
3656 Jps
2396 ResourceManager
2541 NodeManager

切换到slave01，运行jps，可以看到如下结果：

1897 NodeManager
2444 Jps
1790 DataNode

切换到slave02也是一样的有这些服务。

那么说明我们的服务网都已经启动成功了。

现在我们在浏览器中访问：

:50070/

应该可以看到Hadoop服务已经启动，切换到Datanodes可以看到我们启动的3台数据节点：

下面关于Hadoop的文章您也可能喜欢，不妨看看：

Ubuntu14.04下Hadoop2.4.1单机/伪分布式安装配置教程 

CentOS安装和配置Hadoop2.2.0 

CentOS 6.3下Hadoop伪分布式平台搭建 

Ubuntu 14.04 LTS下安装Hadoop 1.2.1（伪分布模式）

Ubuntu上搭建Hadoop环境（单机模式+伪分布模式）

实战CentOS系统部署Hadoop集群服务

单机版搭建Hadoop环境图文教程详解

Hadoop 2.6.0 HA高可用集群配置详解 

Spark 1.5、Hadoop 2.7 集群环境搭建