Hadoop集群配置详细版

之前配置Hadoop的很多步骤不太详细，配置文件的许多优化点也没太搞清楚，重新写一下。

2012.06.22更新：Hadoop版本兼容到1.0.3。

0、ssh免密码登录

ssh-keygen -t rsa -P ""
cat $HOME/.ssh/id_rsa.pub >> $HOME/.ssh/authorized_keys
echo "StrictHostKeyChecking no" >> ~/.ssh/config

1、安装JDK7

#下载 && 解压缩 && 安装
wget Oracle.com/otn-pub/Java/jdk/7u2-b13/jdk-7u2-linux-i586.tar.gz
tar -xzf jdk-7u2-linux-i586.tar.gz
mv ./jdk1.7.0_02 ~/jdk

#配置JAVA_HOME环境变量
vim ~/.bashrc
export JAVA_HOME=/home/hadoop/jdk/
export JAVA_BIN=/home/hadoop/jdk/bin
export PATH=$JAVA_HOME/bin:$PATH
export CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar

2、安装Hadoop(0.23.0)

#安装解压缩Hadoop
wget
tar -xzvf hadoop-1.0.3-bin.tar.gz
mv ./hadoop-1.0.3 ~/hadoop_home

#创建运行时目录
cd ~/hadoop_home
mkdir var
cd var
mkdir tmp mapred hdfs
cd hdfs
mkdir name data

#导出Java_HOME
cd ~/hadoop_home/conf/
vim ./hadoop-env.sh
export JAVA_HOME=/home/hadoop/jdk/

更新：注意权限，新版本中，所有HDFS目录权限务必是755，不能是775。

chmod 755 data name

3、准备环境变量
 
主要是HADOOP_HOME，在1.0之后，还要这个参数

export HADOOP_HOME=/home/hadoop/hadoop_home/
export HADOOP_HOME_WARN_SUPPRESS=1

4、配置hosts（Linux和Hadoop）

#配置每个结点上的hosts文件
sudo vim /etc/hosts
#Hosts for hadoop
10.70.0.101 hadoop1
10.70.0.102 hadoop2
......

#配置masters和slaves
vim ~/hadoop_home/conf
vim masters
hadoop1
vim slaves
hadoop1
hadoop2
......