Linux系统上部署Hadoop运行环境

操作系统：CentOS 6 (或者Fedora 16)

Hadoop将使用最新的1.0.0版本。

1. 首先可以考虑更新一下yum

yum update

2. 安装Java环境

wget download.Oracle.com/otn-pub/java/jdk/6u30-b12/jdk-6u30-linux-i586-rpm.bin

chmod 777 jdk-6u30-linux-i586-rpm.bin

./jdk-6u30-linux-i586-rpm.bin
安装完成后配置环境变量：

编辑/etc/profile文件，在尾部添加如下代码：

[plain]

export JAVA_HOME=/usr/java/jdk1.6.0_30   export PATH=$JAVA_HOME/bin:$PATH   export CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar  

source /etc/profile

java -version

如果看到以下提示则表示Java环境安装成功：

[plain]

java version "1.6.0_30"   Java(TM) SE Runtime Environment (build 1.6.0_30-b12)   Java HotSpot(TM) Client VM (build 20.5-b03, mixed mode, sharing)  

3. 安装Hadoop环境：

这里图个方便，直接以root身份安装并运行Hadoop了。

cd /usr/local

wget labs.renren.com/apache-mirror//hadoop/common/hadoop-1.0.0/hadoop-1.0.0.tar.gz

chmod 777 hadoop-1.0.0.tar.gz

tar zxvf hadoop-1.0.0.tar.gz

mv hadoop-1.0.0 hadoop

4. 在Local (Standalone) Mode模式下运行MapReduce

cd hadoop

mkdir -p test/input

cp conf/*.xml test/input

bin/hadoop jar hadoop-examples-*.jar grep test/input test/output 'dfs[a-z.]+'

cat test/output/*

如果想尝试wordcount，可以运行如下命令：

bin/hadoop jar hadoop-examples-*.jar wordcount test/input/ test/output2

在1.0中出现如下警告：

Warning: $HADOOP_HOME is deprecated.

可以通过在bin/hadoop下添加如下内容解决：

export HADOOP_HOME_WARN_SUPPRESS=true