Hadoop运行依赖环境,安装JDK6及以上版本。首先检查是否存在JDK.
java -version
java -version下面表示已经安装了:
root@ubuntu:~# java -version
java version "1.7.0_95"
OpenJDK Runtime Environment (IcedTea 2.6.4) (7u95-2.6.4-0ubuntu0.15.04.1)
OpenJDK 64-Bit Server VM (build 24.95-b01, mixed mode)
root@ubuntu:~# java -version java version "1.7.0_95" OpenJDK Runtime Environment (IcedTea 2.6.4) (7u95-2.6.4-0ubuntu0.15.04.1) OpenJDK 64-Bit Server VM (build 24.95-b01, mixed mode)注:因为我自己在Ubuntu上安装过Java的默认版本所以这里就会显示我的java版本。
如果没有安装,可以使用以下命令来安装:
#首先更新apt-get命令
apt-get update
#安装jdk:你可以使用jps命令查看是否安装支持jps的jdk版本,jps命令Java1.5以上版本支持
jps
#如果不存在会提示jdk的版本,输入如下命令进行安装
apt-get install openjdk-7-jdk
#首先更新apt-get命令 apt-get update #安装jdk:你可以使用jps命令查看是否安装支持jps的jdk版本,jps命令Java1.5以上版本支持 jps #如果不存在会提示jdk的版本,输入如下命令进行安装 apt-get install openjdk-7-jdk 2.安装Apache Hadoop需要做的准备工作 2.1创建专用用户Hadoop需要一个单独的专用用户来执行。 具有对Hadoop可执行文件和数据文件夹的完全控制。要创建新用户,请在终端中使用以下命令。
#create a user group for hadoop
sudo addgroup hadoop
#create user hduser and add it to the hadoop usergroup
sudo adduser --ingroup hadoop hduser
#create a user group for hadoop sudo addgroup hadoop #create user hduser and add it to the hadoop usergroup sudo adduser --ingroup hadoop hduser
直接默认按Enter即可。
2.3禁用ipv6下一步是在所有机器上禁用ipv6。 Hadoop设置为使用ipv4,这就是为什么我们需要在创建hadoop集群之前禁用ipv6。使用vi(或您选择的任何其他编辑器,如:nano)以root身份打开/etc/sysctl.conf:
vi /etc/sysctl.conf
vi /etc/sysctl.conf
并在文件末尾添加以下行:
#commands to disable ipv6
net.ipv6.conf.all.disable-ipv6=1
net.ipv6.conf.default.disable-ipv6=1
net.ipv6.conf.lo.disable-ipv6=1
#commands to disable ipv6 net.ipv6.conf.all.disable-ipv6=1 net.ipv6.conf.default.disable-ipv6=1 net.ipv6.conf.lo.disable-ipv6=1
vi命令——i:进行编辑 ;ESC :wq 保存退出
要检查ipv6是否正确禁用,我们可以使用以下命令:
cat /proc/sys/net/ipv6/conf/all/disable-ipv6
cat /proc/sys/net/ipv6/conf/all/disable-ipv6 2.4安装SSH和设置证书Hadoop需要SSH访问来管理其远程节点以及本地机器上的节点。对于此示例,我们需要配置SSH访问localhost。
因此,我们将确保我们已经启动并运行SSH并设置公钥访问权限,以允许它在没有密码的情况下登录。 我们将设置SSH证书以允许密码较少的身份验证。使用以下命令执行所需的步骤。
ssh有两个主要组件:
ssh:我们用来连接远程机器的命令 - 客户端
sshd:在服务器上运行并允许客户端连接到服务器的守护程序
SSH在Ubuntu上预先启用,但为了确保sshd启用,我们需要使用以下命令首先安装ssh。
#installing ssh
sudo apt-get install ssh
#installing ssh sudo apt-get install ssh要确保一切都正确设置,请使用以下命令:
#Checking ssh
which ssh
#Checking sshd
which sshd
#Checking ssh which ssh #Checking sshd which sshd验证的输出如下:
root@ubuntu:~# which ssh
/usr/local/ssh
root@ubuntu:~# which sshd
/usr/local/sshd
root@ubuntu:~# which ssh /usr/local/ssh root@ubuntu:~# which sshd /usr/local/sshd