Ubuntu上搭建Hadoop环境(单机模式+伪分布模式)(3)

4.安装Hadoop 1.0.2

官网下载hadoop源文件,这里选择hadoop 1.0.2

解压并放到你希望的目录中。我是放到/usr/local/hadoop

~$ sudo tar xzf hadoop-1.0.2.tar.gz
~$ sudo mv hadoop-1.0.2 /usr/local/hadoop

要确保所有的操作都是在用户hadoop下完成的:

~$ sudo chown -R hadoop:hadoop /usr/local/hadoop

5.设定hadoop-env.sh(Java 安装路径)

进入hadoop目录,打开conf目录下到hadoop-env.sh,添加以下信息:
export JAVA_HOME=/usr/lib/jvm/java-6-openjdk (视你机器的java安装路径而定)
export HADOOP_HOME=/usr/local/hadoop
export PATH=$PATH:/usr/local/hadoop/bin

Ubuntu上搭建Hadoop环境(单机模式+伪分布模式)

并且,让环境变量配置生效source

~$ source /usr/local/hadoop/conf/hadoop-env.sh

至此,hadoop的单机模式已经安装成功。

Ubuntu上搭建Hadoop环境(单机模式+伪分布模式)

于是,运行一下hadoop自带的例子WordCount来感受以下MapReduce过程:

在hadoop目录下新建input文件夹

~$ mkdir input

将conf中的所有文件拷贝到input文件夹中

~$ cp conf/* input

运行WordCount程序,并将结果保存到output中

~$ bin/hadoop jar hadoop-0.20.2-examples.jar wordcount input output

Ubuntu上搭建Hadoop环境(单机模式+伪分布模式)

运行

~$ cat output/*

你会看到conf所有文件的单词和频数都被统计出来。

Ubuntu上搭建Hadoop环境(单机模式+伪分布模式)

下面是伪分布模式需要的一些配置,继续。

内容版权声明:除非注明,否则皆为本站原创文章。

转载注明出处:http://www.heiqu.com/1cbee0bd8ca96a11ef9f5f79a603d6e8.html