Hadoop 3台虚拟机的小型集群

OS:Red Hat Enterprise Linux Client release 5.5

JDK:JDKk1.6.0_23

HadoopHadoop-0.20.2

VMWare:8.0

网络环境:

192.168.2.86  namenode   secondnamenode

192.168.4.123 datanode

192.168.4.124 datanode

配置以及安装步骤:

1. 网络环境配置

(1) 关闭所有网络主机的防火墙,service iptables stop

(2) /etc/hosts 文件内容追加

192.168.2.86  master 
192.168.4.123  slave1 
192.168.4.124  slave2 

2. 建立ssh互信

(1) 修改 vi  /etc/ssh/sshd_config

#    $OpenBSD: sshd_config,v 1.73 2005/12/06 22:38:28 reyk Exp $      # This is the sshd server system-wide configuration file.  See   # sshd_config(5) for more information.      # This sshd was compiled with PATH=/usr/local/bin:/bin:/usr/bin      # The strategy used for options in the default sshd_config shipped with   # OpenSSH is to specify options with their default value where   # possible, but leave them commented.  Uncommented options change a   # default value.      #Port 22   #Protocol 2,1   Protocol 2   #AddressFamily any   #ListenAddress 0.0.0.0   #ListenAddress ::      # HostKey for protocol version 1   #HostKey /etc/ssh/ssh_host_key   # HostKeys for protocol version 2   #HostKey /etc/ssh/ssh_host_rsa_key   #HostKey /etc/ssh/ssh_host_dsa_key      # Lifetime and size of ephemeral version 1 server key   #KeyRegenerationInterval 1h   #ServerKeyBits 768      # Logging   # obsoletes QuietMode and FascistLogging   #SyslogFacility AUTH   SyslogFacility AUTHPRIV   #LogLevel INFO      # Authentication:      #LoginGraceTime 2m   #PermitRootLogin yes   #PermitRootLogin yes   #StrictModes yes   #MaxAuthTries 6      #RSAAuthentication yes   #PubkeyAuthentication yes   #PubkeyAuthentication no   #AuthorizedKeysFile    .ssh/authorized_keys      # For this to work you will also need host keys in /etc/ssh/ssh_known_hosts   #RhostsRSAAuthentication no   # similar for protocol version 2   #HostbasedAuthentication no   # Change to yes if you don't trust ~/.ssh/known_hosts for   # RhostsRSAAuthentication and HostbasedAuthentication   #IgnoreUserKnownHosts no   # Don't read the user's ~/.rhosts and ~/.shosts files   #IgnoreRhosts yes      # To disable tunneled clear text passwords, change to no here!   #PasswordAuthentication yes   #PermitEmptyPasswords no   #PasswordAuthentication yes   PasswordAuthentication no   AuthorizedKeysFile .ssh/authorized_keys      # Change to no to disable s/key passwords   #ChallengeResponseAuthentication yes   ChallengeResponseAuthentication no      # Kerberos options   #KerberosAuthentication no   #KerberosOrLocalPasswd yes   #KerberosTicketCleanup yes   #KerberosGetAFSToken no      # GSSAPI options   #GSSAPIAuthentication no   GSSAPIAuthentication yes   #GSSAPICleanupCredentials yes   GSSAPICleanupCredentials yes      # Set this to 'yes' to enable PAM authentication, account processing,    # and session processing. If this is enabled, PAM authentication will    # be allowed through the ChallengeResponseAuthentication mechanism.    # Depending on your PAM configuration, this may bypass the setting of    # PasswordAuthentication, PermitEmptyPasswords, and    # "PermitRootLogin without-password". If you just want the PAM account and    # session checks to run without PAM authentication, then enable this but set    # ChallengeResponseAuthentication=no   #UsePAM no   UsePAM yes      # Accept locale-related environment variables   AcceptEnv LANG LC_CTYPE LC_NUMERIC LC_TIME LC_COLLATE LC_MONETARY LC_MESSAGES    AcceptEnv LC_PAPER LC_NAME LC_ADDRESS LC_TELEPHONE LC_MEASUREMENT    AcceptEnv LC_IDENTIFICATION LC_ALL   #AllowTcpForwarding yes   #GatewayPorts no   #X11Forwarding no   X11Forwarding yes   #X11DisplayOffset 10   #X11UseLocalhost yes   #PrintMotd yes   #PrintLastLog yes   #TCPKeepAlive yes   #UseLogin no   #UsePrivilegeSeparation yes   #PermitUserEnvironment no   #Compression delayed   #ClientAliveInterval 0   #ClientAliveCountMax 3   #ShowPatchLevel no   #UseDNS yes   #PidFile /var/run/sshd.pid   #MaxStartups 10   #PermitTunnel no   #ChrootDirectory none      # no default banner path   #Banner /some/path      # override default of no subsystems   Subsystem    sftp    /usr/libexec/openssh/sftp-server  

(2)  生成公钥、私钥文件

生成密钥到用户主目录下

ssh -keygen -t dsa -P '' -f ~/.ssh/id_dsa   
cat ~/.ssh/id_dsa.pub >> ~/.ssh/authorized_keys  

将authorized_keys文件拷贝到两台slave主机

scp authorized_keys slave1:~/.ssh/   
scp authorized_keys slave2:~/.ssh/  

(3) 开启ssh-agent服务

ssh-agent bash --login -i

ssh-add 添加密钥

内容版权声明:除非注明,否则皆为本站原创文章。

转载注明出处:http://www.heiqu.com/7889301b209d325071a356f61508163d.html