CentOS 6.3下Hadoop伪分布式平台搭建

　　五、web查看

　　一、前言

　　1、开始搭建前上官网看了一下，发现最新版本是3.0，但一想到跨版本而且又是最新版本的一般都会出现各种不一样的问题，所以决定使用了2.7.3，hadoop2的最新版本，至于跟后面搭建hbase的版本兼不兼容的情况等遇到再看怎么处理（实验证明最新版本的hbase1.2.3跟hadoop2.7.3是完美兼容的）。

　　2、机器只有实体机一台 10.1.2.108，CentOS 6.3，64位系统

[root@root@linuxidc.com ~]# cat /etc/issue CentOS release 6.3 (Final) Kernel \r on an \m [root@root@linuxidc.com ~]# getconf LONG_BIT 64

　　3、大概了解了下就网上到处找安装教程，发现写的好的还是一大堆的，不过大家基本上都是参考官方安装教程。

　　4、由于开了多个窗口，所以本文中的shell命令有时候是root运行，有时候是hadoop账号运行，需要注意hostname以便区分

　　二、环境搭建

　　1、新建hadoop用户

[root@linuxidc.com home]# useradd hadoop [root@linuxidc.com home]# passwd hadoop Changing password for user hadoop. New password: Retype new password: passwd: all authentication tokens updated successfully.

　　2、下载安装包

需要的安装包有hadoop 下载后可以根据MD5比较来判断是否下载完整。

jdk下载

hadoop的版本是2.7.3，hadoop后台主要是java，所以需要依靠jdk环境运行，我下载的版本是jdk1.8（jdk-8u40-linux-x64.tar.gz）。但是不知道为什么下载后在linux下解压一直出错，后来直接在windows下解压后发到linux环境。

　　3、安装jdk

tar xvzf jdk-8u40-linux-x64.tar.gz mv jdk1.8.0_40/ /usr/local/java1.8.0_40 ln -s /usr/local/java1.8.0_40 /usr/local/java cat >> /etc/profile <<'MUL' JAVA_HOME=/usr/local/java/ CLASSPATH=.:$JAVA_HOME/lib.tools.jar PATH=$JAVA_HOME/bin:$PATH export JAVA_HOME CLASSPATH PATH MUL source /etc/profile

 

[root@root@linuxidc.com ~]# java -version java version "1.8.0_40" Java(TM) SE Runtime Environment (build 1.8.0_40-b26) Java HotSpot(TM) 64-Bit Server VM (build 25.40-b25, mixed mode)

　　4、配置本机免密ssh登陆

公司的机器是配好ssh的，如果没安装机器可以使用命令

yum install openssh-clients -y yum install openssh-server -y

安装成功后配置免密登陆需要先切换hadoop账号，使用ssh-keygen生成sshkeys，并且将公钥授权给本机

[root@root@linuxidc.com ~]# su - hadoop [hadoop@root@linuxidc.com ~]$ ssh-keygen -t rsa # 一路回车 [hadoop@root@linuxidc.com ~]$ cd ~/.ssh/ [hadoop@root@linuxidc.com .ssh]$ cat id_rsa.pub >> authorized_keys [hadoop@root@linuxidc.com .ssh]$ chmod 600 ./authorized_keys

修改/etc/hosts，增加localhosts

[hadoop@root@linuxidc.com .ssh]$ hostname root@linuxidc.com [hadoop@root@linuxidc.com .ssh]$ cat /etc/hosts 10.1.2.108 localhost 10.1.2.108 root@linuxidc.com

由于公司机器的ssh默认端口是322，而不是22，所以配置免密登陆是需要指定端口的ssh -p322，这里我们还需要修改配置文件，root权限查看配置文件末两行，第一行是设置使用322端口进行通信，第二行是将ssh配置成监听机器的全网段，包含内外网ip。如果没有这一行，需要自己添加，不然后面启动hadoop SecondNode会一直提示连接0.0.0.0失败。

重启ssh服务。

[root@root@linuxidc.com ~]# tail /etc/ssh/sshd_config Port 322 ListenAddress 0.0.0.0

[root@root@linuxidc.com ~]# service sshd restart
Stopping sshd: [ OK ]
Starting sshd: [ OK ]

接着运行下面命令成功即可。