Hadoop集群安装详细步骤

  首先我们统一一下定义,在这里所提到的Hadoop是指Hadoop Common,主要提供DFS(分布式文件存储)与Map/Reduce的核心功能。

  Hadoop在Windows下还未经过很好的测试,所以笔者推荐大家在Linux(CentOS 5.X)下安装使用。

  准备安装Hadoop集群之前我们得先检验系统是否安装了如下的必备软件:ssh、rsync和Jdk1.6(因为Hadoop需要使用到Jdk中的编译工具,所以一般不直接使用Jre)。可以使用yum install rsync来安装rsync。一般来说ssh是默认安装到系统中的。Jdk1.6的安装方法这里就不多介绍了。

更多Hadoop相关信息见Hadoop 专题页面 ?tid=13

  确保以上准备工作完了之后我们就开始安装Hadoop软件,假设我们用三台机器做Hadoop集群,分别是:192.168.1.111、192.168.1.112和192.168.1.113(下文简称111,112和113),且都使用root用户。

  下面是在linux平台下安装Hadoop的过程:

[root@192.168.1.111] #这里将Hadoop安装到/opt/hadoop
[root@192.168.1.111] mkdir /opt/hadoop
[root@192.168.1.111] cd /opt/hadoop
[root@192.168.1.111] #更改所属关系和权限(对于其它用户而言)
[root@192.168.1.111] chown root ./; chmod 755 ./
[root@192.168.1.111] # 下载项目包(去官网()下载Hadoop项目)
[root@192.168.1.111] wget
[root@192.168.1.111] # 解压
[root@192.168.1.111] tar xzvf hadoop-0.20.2.tar.gz
[root@192.168.1.111] # 进入目录
[root@192.168.1.111] cd hadoop-0.20.2
[root@192.168.1.111] # 因为Hadoop子项目的需要,一般需要设置环境变量如下:
[root@192.168.1.111] export HADOOP_HOME=`pwd`
[root@192.168.1.111] # 也可以将环境变量设置到/etc/profile中

在所有服务器的同一路径下都进行这几步,就完成了集群Hadoop软件的安装,是不是很简单?没错安装是很简单的,下面就是比较困难的工作了。

内容版权声明:除非注明,否则皆为本站原创文章。

转载注明出处:http://www.heiqu.com/43bb07b90e425a6559abfccc7e68e9df.html