Hadoop2.6完全分布式多节点集群安装配置(2)

保证虚拟机能联网,打开ubuntu火狐浏览器,下载安装参考  Ubuntu安装JDK详解 

我的jdk安装目录 /usr/lib/jvm/jdk1.8.0_73

使用java-version查看jdk

 

 

3.6 SSH无密码登陆验证配置

安装ssh

命令:sudo apt-get install openssh-server

sudo apt-get install openssh-client

使用ssh version 查看ssh是否安装成功

 

生成无密码密钥对:id_rsa(私钥)id_rsa.pub(公钥),默认存储在/home/ysu(用户名)/.ssh目录下

命令:ssh-keygen -t rsa -P ''

使用ls 查看是否有这两个钥

 

把id_rsa.pub追加到授权的key里面去。

命令:cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys

 

使用root用户登陆修改ssh配置文件

命令:su //输入root密码切换到超级用户

gedit /etc/ssh/sshd_config

检查下面几行

PermitRootLogin yes(要改成yes)

RSAAuthentication yes # 启用 RSA 认证 (去掉最前面#)

PubkeyAuthentication yes # 启用公钥私钥配对认证方式(去掉最前面#)

AuthorizedKeysFile  %h/.ssh/authorized_keys # 公钥文件路径 (去掉最前面#)

 

重启ssh服务

/home/ysu/.ssh/ service ssh restart

 

使用exit 退出root登陆,验证ssh是否设置成功

ssh localhost

在测试有可能出现 Agent admitted failure to sign using the key

解决的办法: ssh-add ~/.ssh/id_rsa

 

将公钥传到远程主机上

命令:cd /home/ysu/.ssh

            ssh-copy-id  ysu@Slaver1.Hadoop//这里是Master传入Slaver1

    enter完后输入Slaver1.Hadoop密码

 

检测是否可以无密码登陆

命令:ssh Slaver1.Hadoop

结果   ysu@Master:~$变成ysu@Slaver1:~$

 

最后Slaver1机器也按照以上的步骤重复一遍

 

3.7 Hadoop安装配置

注意:Hadoop2.X版本跟1.X版本很多命令不一样,需要配置的文件也不一样。

保证虚拟机能联网,打开ubuntu火狐浏览器,下载Hadoop(默认下载到/home/ysu/下载目录里面)

root用户登陆将hadoop安装包移动到/usr目录下

cp /home/ysu/下载/hadoop-2.6.4.tar.gz /usr/

 

解压安装包

cd /usr/

tar -xzvf hadoop-2.6.4.tar.gz

 

重命名为hadoop

mv hadoop-2.6.4 hadoop

 

给ysu用户分配hadoop文件夹读权限

chown -R ysu:ysu hadoop

 

删除安装包

rm -rf  hadoop-2.6.4.tar.gz

 

本地文件系统创建一下文件夹

mkdir /usr/hadoop/tmp

mkdir /usr/hadoop/dfs/data

mkdir /usr/hadoop/name

 

修改 /etc/profile文件 添加hadoop路径

cd profile

sudo gedit /etc/profile

文件中

# set hadoop path

export HADOOP_HOME=/usr/hadoop

export PATH=PATH:PATH:HADOOP_HOME/bin

 

配置7个文件 均在/usr/hadoop/etc/hadoop/

 

配置 hadoop-env.sh //修改JAVA_HOME

export JAVA_HOME=/usr/lib/jvm/jdk1.8.0_73

配置 yarn-env.sh//修改JAVA_HOME

export JAVA_HOME=/usr/lib/jvm/jdk1.8.0_73

配置slaves文件//增加slave节点

Slaver1.Hadoop

配置core-site.xml文件

<configuration>

<property>

<name>fs.defaultFS</name>
  <value>hdfs://Master.Hadoop:9000</value>
 </property>

内容版权声明:除非注明,否则皆为本站原创文章。

转载注明出处:https://www.heiqu.com/9ac8c65592a503f47237f7093dc7c374.html