大数据之Linux服务器集群搭建

之前写过一篇关于Linux服务器系统的安装与网关的配置,那么现在我们要进一步的搭建多台Linux服务器集群。

关于单台服务器的系统搭建配置就不在赘述了,详情见https://www.cnblogs.com/sky9408251/p/12034904.html

那么好,现在我们来开始搭建多台Linux服务器集群。

  首先第一步,准备环境,我们需要准备环境有三台硬盘空间大于40G 内存最好在4G或以上内存的电脑。之前说过如果是搭建在不同电脑上,那么我们需要用到的联网模式就是桥接模式,如果你没有那么多电脑,只有一台配置很高的电脑,那么建议你至少预留出120G的硬盘,和给每台机器分配至少4G的内存,为什么呢?有人会问,因为后续的Hadoop集群搭建以及各项辅助软件的部署搭建之后,如果你内存过低,那么运行一些任务调度时,你就知道什么叫做卡。

   之前呢我们已经成功搭建出一台Linux服务器了,如果你在同一台电脑搭建三台,那么你就不用说每台服务器去逐步安装系统了,只需要在那台服务器关机的情况下复制那个系统部署生成出来的文件夹即可,重新命名为Hadoop02,Hadoop03。当然名字随你定

大数据之Linux服务器集群搭建

  好了我们复制完系统文件夹之后呢,怎么去做呢。很简单,打开VMware左上方的文件--->打开-->选择刚刚复制的两个文件夹里的.vmx文件即可添加到你VMware中了。那么接下来就是给你新加的两台虚拟机分配内存即可。然后按照之前介绍的安装Linux服务器的方式修改IP和MAC地址。这里就不在一一截图表示了,不明白的去看看我之前发的文章就行了。

  好了修改完IP和MAC地址后,我们配置三台机器的hosts文件让三台机器相互之间有某种不可告人的联系形成集群第一步三角恋。

大数据之Linux服务器集群搭建

  接下来呢,我们就需要关闭三台服务器的防火墙和Selinux,因为是学习所以彻底关闭也没啥所谓。当然如果去工作中就不要这样做了,老老实实配置防火墙出入端口,我们这样是为了两个字方便,简单粗暴。

  关闭防火墙命令很简单,service iptables stop 关闭完防火墙之后我们在坏事做的彻底点儿,彻底让它永不翻身,关闭开机自启。chkconfig iptables off 执行它防火墙就彻底跟你的这台服务器告别了。再次强调工作中在公司千万别这么搞,就算没出事人家知道了都会怀疑你的技术水平以及安全意识。

  关闭防火墙了,我们再来关闭selinux,为什么要关闭这个selinux呢,这个selinux是什么东西呢,要说上面的防火墙,只要知道玩电脑的都听过,但是selinux我相信初学者对这个单词肯定是它不认识你你不认识它。

  什么是selinux?selinux是Linux系统的安全子系统,我们知道Linux是一个文件系统,所以Linux的权限管理是针对文件的没有说针对进程的,也就是说如果root启动 某个进程,那么这个进程就可以操作任何一个文件。所以就有了selinux,它就是补足Linux对进程的毫无想法的缺陷。说白了就是一个对Linux内的进程权限管理的安全子系统。相信看到这里的大家应该能想到我们为什么要关闭它了。没错不让它碍事。因为我们如果不关闭它,那么我们学习当中,安装部署一些软件工具的时候会涉及到很多进程,如果我们要一个一个去对它们进行权限设置的话,那也未免太过于麻烦与费时,所以我们就一不做二不休直接关了它。

  关闭selinux,第一步首先打开selinux的相关配置文件。指令:vim /etc/selinux/config

  

大数据之Linux服务器集群搭建

  注释原本的SELINUX=enforcing,添加SELINUX=disabled。这样SELINUX安全子系统就彻底关闭了

  接下来我们就让这三台服务器直接的三角恋变的更加亲密一些,让它们之间不分你我,我们在它们之间安装免密登录。为什么要这样做呢?其实大家想想就知道了如果以后在公司中的时候,服务器集群中的节点不止三个是十几个或者更多,那么我要执行一些指令或者安装部署一些东西的时候我还得一台一台的去登录,然后在执行相关操作,那也未免太过于繁杂。现在我们就有一种方法让我们能在其中任何一台机器上能随意登录其他节点的方式,就是SSH免密登录。

  SSH免密登录它是基于一种什么原理来达到那种不需要密码就可以直接登录其他子节点的呢?

  SSH免密登录的原理主要基于下面的五个步骤:

    1. 需要先在 B节点 配置 A节点 的公钥

    2. A节点 请求 B节点 要求登录  

    3. B节点 使用 A节点 的公钥, 加密一段随机文本

    4. A节点 使用私钥解密, 并发回给 B节点

    5. B节点 验证文本是否正确

  相信很多朋友们看完都一脸懵B,那么我们就上图,图文解说相信会更直白些

内容版权声明:除非注明,否则皆为本站原创文章。

转载注明出处:https://www.heiqu.com/zwxgdz.html