Hadoop是一个分布式系统基础架构,主要由HDFS、Mapreduce和Hbase组成,分别为Google集群系统GFS、Mapreduce、Big Table的开源实现。
一.Hadoop安装
1.在VMware虚拟机下起了一台Ubuntu系统,在该系统下搭建单节点hadoop环境。
2.将hadoop-0.20.2.tar.gz拷到/home/fyq/目录下。并解压。Tar –zvxf hadoop-0.20.2.tar.gz
3.默认解压到/home/fyq下
4.sudo gedit /etc/profile:
Export HADOOP_HOME=/home/fyq/hadoop-0.20.2
Export PATH=$HADOOP_HOME/bin:$PATH
在执行 source /etc/profile
二.Hadoop配置
1.进到/home/fyq/hadoop-0.20.2/conf下。
(1)修改hadoop-env.sh
(2)修改/home/fyq/conf/slaves和/home/fyq/conf/slaves.前提是本机的ip要改为静态的。
(3)修改core-site.xml
(4)修改hdfs-site.xml
(5)配置Mapreduce。修改mapred-site.xml
三.启动
1.配置完了,先格式化。
Hadoop namenode –format
2.启动。
Start-all.sh
四.运行WordCount示例