Hadoop完全分布式环境搭建

一. 准备工作
实验环境:Vmware虚拟出的3台主机,系统为CentOS_6.4_i386
用到的软件:Hadoop-1.2.1-1.i386.rpm,jdk-7u9-linux-i586.rpm
主机规划:
IP地址                      主机名                    角色
192.168.2.22          master.flyence.tk        NameNode,JobTracker
192.168.2.42          datanode.flyence.tk      DataNode,TaskTracker
192.168.2.32          snn.flyence.tk          SecondaryNameNode

1. hostname命令修改主机名,并修改/etc/sysconfig/network中的主机
这里以master节点为例
[root@localhost ~]# hostname master.flyence.tk
[root@localhost ~]# vim /etc/sysconfig/network
[root@localhost ~]# logout
-
下面为/etc/sysconfig/network中的内容
NETWORKING=yes
HOSTNAME=master.flyence.tk

2. 在/etc/hosts中,记录3台主机的IP和主机名

Hadoop完全分布式环境搭建

3. 在3台主机上添加hadoop用户,并设定密码

# useradd hadoop
# echo "hadoop" | passwd --stdin hadoop

4. master节点的hadoop用户能够以基于密钥的验证方式登录其他节点,以便启动进程并执行监控等额外的管理工作。
[root@master ~]# su - hadoop
[hadoop@master ~]$ ssh-keygen -t rsa -P ''
[hadoop@master ~]$ ssh-copy-id -i .ssh/id_rsa.pub hadoop@datanode.flyence.tk
[hadoop@master ~]$ ssh-copy-id -i .ssh/id_rsa.pub hadoop@snn.flyence.tk

二. 安装JDK

3台主机上都要安装,以下步骤要重复三遍

[root@master ~]# rpm -ivh jdk-7u9-linux-i586.rpm

编辑/etc/profile.d/Java.sh,在文件中添加如下内容:
export PATH=/usr/java/latest/bin:$PATH

切换至hadoop用户,并执行如下命令测试jdk环境配置是否就绪
[hadoop@master ~]$ java -version
java version "1.7.0_09"
Java(TM) SE Runtime Environment (build 1.7.0_09-b05)
Java HotSpot(TM) Client VM (build 23.5-b02, mixed mode, sharing)

三. 安装Hadoop

集群中的每个节点都要安装Hadoop
[root@master ~]# rpm -ivh hadoop-1.2.1-1.i386.rpm

切换至hadoop用户,验证Hadoop是否安装完成
[hadoop@master ~]$ hadoop version
Hadoop 1.2.1
Subversion https://svn.apache.org/repos/asf/hadoop/common/branches/branch-1.2 -r 1503152
Compiled by mattf on Mon Jul 22 15:17:22 PDT 2013
From source with checksum 6923c86528809c4e7e6f493b6b413a9a
This command was run using /usr/share/hadoop/hadoop-core-1.2.1.jar

相关阅读

Ubuntu 13.04上搭建Hadoop环境

Ubuntu 12.10 +Hadoop 1.2.1版本集群配置

Ubuntu上搭建Hadoop环境(单机模式+伪分布模式)

Ubuntu下Hadoop环境的配置

单机版搭建Hadoop环境图文教程详解

搭建Hadoop环境(在Winodws环境下用虚拟机虚拟两个Ubuntu系统进行搭建)

内容版权声明:除非注明,否则皆为本站原创文章。

转载注明出处:http://www.heiqu.com/bdf404b39257834dc82ce072ac3d5648.html