4.安装Hadoop 1.0.2
到官网下载hadoop源文件,这里选择hadoop 1.0.2
解压并放到你希望的目录中。我是放到/usr/local/hadoop
~$ sudo tar xzf hadoop-1.0.2.tar.gz
~$ sudo mv hadoop-1.0.2 /usr/local/hadoop
要确保所有的操作都是在用户hadoop下完成的:
~$ sudo chown -R hadoop:hadoop /usr/local/hadoop
5.设定hadoop-env.sh(Java 安装路径)
进入hadoop目录,打开conf目录下到hadoop-env.sh,添加以下信息:
export JAVA_HOME=/usr/lib/jvm/java-6-openjdk (视你机器的java安装路径而定)
export HADOOP_HOME=/usr/local/hadoop
export PATH=$PATH:/usr/local/hadoop/bin
并且,让环境变量配置生效source
~$ source /usr/local/hadoop/conf/hadoop-env.sh
至此,hadoop的单机模式已经安装成功。
于是,运行一下hadoop自带的例子WordCount来感受以下MapReduce过程:
在hadoop目录下新建input文件夹
~$ mkdir input
将conf中的所有文件拷贝到input文件夹中
~$ cp conf/* input
运行WordCount程序,并将结果保存到output中
~$ bin/hadoop jar hadoop-0.20.2-examples.jar wordcount input output
运行
~$ cat output/*
你会看到conf所有文件的单词和频数都被统计出来。
下面是伪分布模式需要的一些配置,继续。