Hadoop 2.6.0 集群系统版本安装和启动配置

本次基于Hadoop2.6版本进行分布式配置,Linux系统是基于CentOS6.5 64位的版本。在此设置一个主节点和两个从节点。

准备3台虚拟机,分别为:

主机名

 

IP地址

 

master

 

192.168.80.10

 

slave1

 

192.168.80.11

 

slave2

 

192.168.80.12

 

1.修改主机名称,把三个节点分别修改下面的文件,修改主机名为masterslave1slave2root用户操作),重启生效

    vi /etc/sysconfig/network

  2.把三个节点的防火墙关闭,在三个节点分别执行(root用户操作)

    /etc/init.d/iptables stop

  

  3.在三个节点修改配置hosts文件,在hosts文件中分别配置三个节点的主机名 ip地址映射(root用户操作)

Hadoop 2.6.0 集群系统版本安装和启动配置

  4.masterslave之间配置SSH互信(hadoop用户操作)

  分别在masterslave1masterslave2mastermaster之间配置互信

    a) 分别在masterslave1slave2执行下面的命令生成公钥和私钥

    ssh-keygen

  

Hadoop 2.6.0 集群系统版本安装和启动配置

  在hadoop用户根目录下,有一个.ssh目录

  id_rsa 私钥

  id_rsa.pub 公钥

  known_hosts 通过SSH链接到本主机,都会在这里有记录

  b) master输入下面的命令,和masterslave1slave2创建互信

ssh-copy-id master

  ssh-copy-id slave1

  ssh-copy-id slave2

Hadoop 2.6.0 集群系统版本安装和启动配置

  注意:复制的过程中需要输入信任主机的密码

  !!!!每次ssh完都会进入其他的主机,千万在ssh完了以后退出对配置机器的远程控制,ctrl+d

  5.把JDKHadoop安装包(资料包目录下的文件)上传到master节点系统(hadoop用户的根目录),用XFtp

  6.在三个节点下面配置jdkhadoop用户的根目录,Jdk解压,(hadoop用户操作)

tar -zxvf jdk-8u65-linux-x64.tar.gz

  7.三个节点配置环境变量,需要修改/etc/profile文件(root用户操作)

  切到root用户,输入su命令

  su

  vi /etc/profile

进去编辑器后,输入i,进入vi编辑器的插入模式,profile文件最后添加

Java_HOME=/home/hadoop/jdk1.8.0_65

export PATH=$PATH:$JAVA_HOME/bin

 

  编辑完成后,按下esc退出插入模式

  输入:,这时在左下角有一个冒号的标识

  q   退出不保存

  wq  保存退出

  q!   强制退出

8.在三个节点把修改的环境变量生效(hadoop用户操作),jdk配置完成

source /etc/profile

  9.下面配置hadoophadoop用户的根目录,解压hadoop用户操作)

  tar -zxvf hadoop-2.6.0.tar.gz

Hadoop 2.6.0 集群系统版本安装和启动配置

内容版权声明:除非注明,否则皆为本站原创文章。

转载注明出处:https://www.heiqu.com/0056bd54eda9cd5d7e8a17d2ac4a6150.html