Ubuntu Hadoop 全分布式集群搭建(2)

把公钥复制所有的Slave机器上。使用下面的命令格式进行复制公钥:scp ~/.ssh/id_rsa.pub 远程用户名@远程服务器IP:~/

例如:

 这里要把公钥复制到所有的slave机器上(本例子就是master2、master3)

2)追加到授权文件"authorized_keys"

  到目前为止Master.Hadoop的公钥也有了,文件夹".ssh"也有了,且权限也修改了。这一步就是把master1的公钥追加到master2的授权文件"authorized_keys"中去。使用下面命令进行追加并修改"authorized_keys"文件权限:

 5)在master1使用SSH无密码登录master2

Ubuntu Hadoop 全分布式集群搭建

3.1 安装hadoop

下载并且解压hadoop压缩包(本文用到的hadoop版本是hadoop-1.2.1),下载后进行解压,解压的命令是:

tar -zvxf hadoop-1.2.1.tar.gz

Hadoop的安装路径添加到"/etc/profile"中

Ubuntu Hadoop 全分布式集群搭建

运行source /etc/profile

3.2 配置hadoop

1) 配置hadoop-env.sh

Hadoop配置文件在conf目录下,之前的版本的配置文件主要是Hadoop-default.xml和Hadoop-site.xml。由于 Hadoop发展迅速,代码量急剧增加,代码开发分为了core,hdfs和map/reduce三部分,配置文件也被分成了三个core- site.xml、hdfs-site.xml、mapred-site.xml。core-site.xml和hdfs-site.xml是站在 HDFS角度上配置文件;core-site.xml和mapred-site.xml是站在MapReduce角度上配置文件。

2)配置core-site.xml文件

首先在hadoop安装目录下创建tmp文件夹

修改Hadoop核心配置文件core-site.xml,这里配置的是HDFS的地址和端口号。

<?xml version="1.0"?>
  <?xml-stylesheet type="text/xsl" href="https://www.linuxidc.com/configuration.xsl"?>
 
  <!-- Put site-specific property overrides in this file. -->
 
  <configuration>
      <property>
          <name>hadoop.tmp.dir</name>
      <value>/root/gy/hadoop-1.2.1/tmp</value>
      </property>
      <property>
          <name>fs.default.name</name>
            <value>hdfs://master1:9000</value>
      </property>
 </configuration>

3)配置hdfs-site.xml文件

<?xml version="1.0"?>
  <?xml-stylesheet type="text/xsl" href="https://www.linuxidc.com/configuration.xsl"?>
 
  <!-- Put site-specific property overrides in this file. -->
 
  <configuration>
      <property>
          <name>dfs.replication</name>
          <value>2</value>
      </property>
  </configuration>

4)配置mapred-site.xml文件

Ubuntu Hadoop 全分布式集群搭建

5)配置masters文件

将每台hadoop机器上的masters文件内容填入主节点名称

6) 配置slaves文件

值得说明和注意的是:一定一定要把每台机器上的配置都是一样的,意思是说上述的master1 master2 master3 的core-site.xml 、hdfs-site.xml、mapred-site.xml必须是一样。

内容版权声明:除非注明,否则皆为本站原创文章。

转载注明出处:http://www.heiqu.com/b19602dd6af0ff25b678e765774b0923.html