一台x86计算机搭建Hadoop的全分布式集群

基本的软硬件配置：

x86台式机，Windows 7 64位系统

vb虚拟机(x86的台式机至少是4G内存，才能开3台虚机)

CentOS6.4操作系统

Hadoop-1.1.2.tar.gz

jdk-6u24-linux-i586.bin

WinScp 远程文件传输工具，很好用。可以用于windows和虚拟机Linux之间文件相互拷贝。

一、root下的配置

a) 修改主机名：vi /etc/sysconfig/network

Master,slave1,slave2

b) 解析Ip: vi /etc/hosts

192.168.8.100 master

192.168.8.101 slave1

192.168.8.102 slave2

c) 调试网络：

采用网桥连接网络，配置网络。

修改后记得调用 service network restart

确保三台虚拟机能够相互ping通。

d) 关闭防火墙

查看：service iptables status

关闭：service iptables stop

查看防火墙有无自启动：

Chkconfig –-list | grepiptables

关闭自启动：

Chkconfig iptables off

二、yao用户下的配置

a) 创建用户yao,设置密码，进入用户

useradd yao

passwd 123456

b) master创建公私秘钥

ssh-keygen –t rsa

1)将id_rsa.pub复制给authorized_keys

Cp id_rsa.pub authorized_keys

2)将master中的authorized_keys复制给slave1的/home下

scp id_rsa.pub root@192.168.8.101:/home

3)将master拷贝过来的authorized_keys复制到slave1本身所创的authorized_keys下，同理slave2的也是。最后达到任一个authorized_keys中都包含所有机组的公钥。

4)将hadoop拷贝复制到对应的机子中/home/yao/Documents/

在root下配置环境变量：vi /etc/profile

export HADOOP_HOME=/home/yao/Documents/hadoop

export HADOOP_HOME_WARN_SUPPRESS=1

export PATH=.:$PATH:$HADOOP_HOME

注：su + 用户名实现切换用户。

5）安装jdk,解压时需要授权;

Chmod u+x jdk。。。

解压。

配置环境变量：vi /etc/profile

6）修改/hadoop/conf下的配置文件

修改core-site.xml

修改hdfs-site.xml

更多详情见请继续阅读下一页的精彩内容：

--------------------------------------分割线 --------------------------------------

Ubuntu 13.04上搭建Hadoop环境

Ubuntu 12.10 +Hadoop 1.2.1版本集群配置

Ubuntu上搭建Hadoop环境（单机模式+伪分布模式）

Ubuntu下Hadoop环境的配置

单机版搭建Hadoop环境图文教程详解

Hadoop LZO 安装教程

Hadoop集群上使用Lzo压缩

--------------------------------------分割线 --------------------------------------