Ubuntu下安装Hadoop详解（单机模式+伪分布模式）

全分布模式（Fully Distributed Mode）
Hadoop守护进程运行在一个集群上。

备注：本教程使用 Ubuntu 14.04 64位 +VMware12.0+Hadoop2.2.0组合，请自行下载相关文件。

二.开始安装

1.前期准备

[1]将下载好的jdk压缩包jdk-7u79-linux-x64.tar复制到目录/app/complied下，并解压至路径/usr/local/java下面

hadoop@hadoop1:~$ cd /app 进入app目录下 hadoop@hadoop1:~$ /app mkdir complied 创建complied目录 root@hadoop1:cd /home/hadoop 进入jdk安装包所在目录 root@hadoop1:/home/hadoop# cp jdk-7u79-linux-x64.tar /app/compied 复制jdk安装包至目录/app/complied下 root@hadoop1:/app/complied# tar -zxvf jdk-7u79-linux-x64.tar 解压安装包 root@hadoop1:/app/complied# mv jdk1.7.0_79 /usr/local/java 移动解压文件

[2]将下载好的hadoop压缩包hadoop-2.2.0-64bit.tar.gz复制到目录/app/complied下，并解压至路径/usr/local/hadoop下面

root@hadoop1:~# cd /home/hadoop 进入hadoop安装包所在目录 root@hadoop1:/home/hadoop# cp hadoop-2.2.0-64bit.tar.gz /app/compied 复制hadoop安装包至目录/app/complied下 root@hadoop1:/app/complied# tar -zxvf hadoop-2.2.0-64bit.tar.gz 解压安装包 root@hadoop1:/app/complied# mv hadoop2.2.0 /usr/local/hadoop 移动解压文件

2.创建hadoop用户组和hadoop用户

root@hadoop1:~# sudo addgroup hadoop 创建用户组 root@hadoop1:~# sudo adduser --ingroup hadoop hadoop 在hadoop用户组中创建用户hadoop root@hadoop1:~# sudo adduser hadoop sudo 创建hadoop用户

3.安装SSH、配置SSH无密码登陆

由于Hadoop用ssh通信，先安装ssh

hadoop@hadoop1:~$ sudo apt-get install openssh-server

ssh安装完成以后，先启动SSH服务

hadoop@hadoop1:~$ sudo /etc/init.d/ssh start

启动后，可以通过如下命令查看服务是否正确启动：

hadoop@hadoop1:~$ ps -e | grep ssh

作为一个安全通信协议，使用时需要密码，因此我们要设置成免密码登录，生成私钥和公钥：

hadoop@hadoop1:~$ ssh-keygen -t rsa -P ""

第一次操作时会提示输入密码，按Enter直接过，这时会在～/home/{username}/.ssh下生成两个文件：id_rsa和id_rsa.pub，前者为私钥，后者为公钥，现在我们将公钥追加到authorized_keys中（authorized_keys用于保存所有允许以当前用户身份登录到ssh客户端用户的公钥内容）：

hadoop@hadoop1:~$ cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys

现在可以登入ssh确认以后登录时不用输入密码：

hadoop@hadoop1:~$ ssh localhost

登出：

hadoop@hadoop1:~$ exit

4.安装配置Java环境
- 安装openjdk

hadoop@hadoop1:~$ sudo apt-get install openjdk-8-jdk

安装好 OpenJDK 后，需要找到相应的安装路径，这个路径是用于配置 JAVA_HOME 环境变量的。执行如下命令：

hadoop@hadoop1:~$ dpkg -L openjdk-7-jdk | grep '/bin/javac'

我们需要的路径为 /usr/lib/jvm/java-8-openjdk-amd64
接着配置 JAVA_HOME 环境变量，为方便，我们在 ~/.bashrc 中进行设置

hadoop@hadoop1:~$ vim ~/.bashrc export JAVA_HOME=/usr/lib/jvm/java-8-openjdk-amd64 #jdk的安装路径

接着还需要让该环境变量生效，执行如下代码：

source ~/.bashrc #使变量设置生效

测试是否配置成功

echo $JAVA_HOME # 检验变量值 java -version $JAVA_HOME/bin/java -version # 与直接执行 java -version 一样

前面准备部分已经将jdk压缩包解压后的文件复制到/usr/local/java目录中，按照openjdk的环境变量配置方式配置即可。

5.安装配置hadoop环境

hadoop解压目录为/usr/local/hadoop,修改hadoop用户对hadoop文件夹的读写权限

hadoop@hadoop1：~$ sudo chown 774 hadoop ./hadoop