Ubuntu下搭建单节点Hadoop环境

Hadoop是一个分布式系统基础架构,主要由HDFS、Mapreduce和Hbase组成,分别为Google集群系统GFS、Mapreduce、Big Table的开源实现。

一.Hadoop安装

1.在VMware虚拟机下起了一台Ubuntu系统,在该系统下搭建单节点hadoop环境。

2.将hadoop-0.20.2.tar.gz拷到/home/fyq/目录下。并解压。Tar –zvxf hadoop-0.20.2.tar.gz

3.默认解压到/home/fyq下

4.sudo gedit /etc/profile:

Export HADOOP_HOME=/home/fyq/hadoop-0.20.2

Export PATH=$HADOOP_HOME/bin:$PATH

在执行 source /etc/profile

二.Hadoop配置

1.进到/home/fyq/hadoop-0.20.2/conf下。

(1)修改hadoop-env.sh

(2)修改/home/fyq/conf/slaves和/home/fyq/conf/slaves.前提是本机的ip要改为静态的。

(3)修改core-site.xml

Ubuntu下搭建单节点Hadoop环境

(4)修改hdfs-site.xml

Ubuntu下搭建单节点Hadoop环境

(5)配置Mapreduce。修改mapred-site.xml

Ubuntu下搭建单节点Hadoop环境

三.启动

1.配置完了,先格式化。

Hadoop namenode –format

Ubuntu下搭建单节点Hadoop环境

2.启动。

Start-all.sh

四.运行WordCount示例

内容版权声明:除非注明,否则皆为本站原创文章。

转载注明出处:http://www.heiqu.com/2620d37c3e0ed67edd9bafce33b19b6a.html