下面我们来一步步的进行Hadoop安装部署:
从零开始
机器环境
Distributor ID: CentOS
Description: CentOS release 5.8 (Final)
Release: 5.8
Codename: Final
jdk 版本
java version "1.6.0_45"
hadoop 版本
2.5.2
安装jdk:
从甲骨文官方下载:
Oracle.com/technetwork/java/javasebusiness/downloads/java-archive-downloads-javase6-419409.html#jdk-6u45-oth-JPR
jdk-6u45-linux-i586.bin
在linux下面运行命令 ./jdk-6u45-linux-i586.bin
配置环境变量
vi /etc/profile
export JAVA_HOME=/snwz/java/install/jdk1.6.0_45
export JAVA_BIN=/snwz/java/install/jdk1.6.0_45/bin
export PATH=$PATH:$JAVA_HOME/bin
export CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar
export JAVA_HOME JAVA_BIN PATH CLASSPATH
运行 java -version 检查是否jdk安装成功
解压缩hadoop安装包,配置环境变量
$ cd /snwz/hadoop/install/hadoop-2.5.2/etc/hadoop
$ vi hadoop-env.sh
配置 java 和 hadoop 的目录
# set to the root of your Java installation
export JAVA_HOME=/usr/java/latest
# Assuming your installation directory is /usr/local/hadoop
export HADOOP_PREFIX=/usr/local/hadoop
配置完成后 运行 bin/hadoop
显示hadoop信息后,说明环境配置完成,下面开始我们的hadoop之旅!!!!!!
首先 使用hadoop自带的mapreduce实例实测一下
$ mkdir input
$ cp etc/hadoop/*.xml input
$ bin/hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-2.5.2.jar grep input output 'dfs[a-z.]+'
$ cat output/*
成功后进入到output目录下
-rw-r--r-- 1 hadoop hadoop 11 01-08 14:04 part-r-00000
-rw-r--r-- 1 hadoop hadoop 0 01-08 14:04 _SUCCESS
如果看到这两个文件,则说明mapreduce任务运行成功。
下面我们来部署一个假分布模式
在分布模式下,因为其他hadoop服务器要通过ssh访问本机hadoop,我们配置ssh免密码登陆
$ ssh localhost
如果登陆不成功则执行下列命名
$ ssh-keygen -t dsa -P '' -f ~/.ssh/id_dsa
$ cat ~/.ssh/id_dsa.pub >> ~/.ssh/authorized_keys
在测试 ssh localhost
如果还是需要输入密码,从网上搜的解决办法,有一大堆呢:
为什么叫假分布呢?因为我们配置副本冗余为1,就是只存放在一个节点上,配置如下:
etc/hadoop/core-site.xml:
<configuration>
<property>
<name>fs.defaultFS</name>
<value>hdfs://localhost:9000</value>
</property>
</configuration>
etc/hadoop/hdfs-site.xml:
<configuration>
<property>
<name>dfs.replication</name>
<value>1</value>
</property>
</configuration>
配置完成后 需要将hadoop 的名称节点格式化
$ bin/hdfs namenode -format
启动dfs
$ sbin/start-dfs.sh
$ netstat -an | grep 9000
如果出现什么异常,日志都存放在 /snwz/hadoop/install/hadoop-2.5.2/logs
hadoop还提供了可视化界面来让用户更好了解当前hadoop各个节点情况,在浏览器中输入
:50070
目前推荐使用yarn框架进行hadoop 的部署,关于yarn框架,我在后面会慢慢学习并和大家分享!!!!
今天因为任务提前完成,才有时间记录下忙里偷闲学习的内容,改天继续,下一篇文章要详细介绍集群环境下的配置,在下一章,一个基本的大框架就要搭建起来了,我们拭目以待吧 。
Ubuntu14.04下Hadoop2.4.1单机/伪分布式安装配置教程