CentOS 6.6下Hadoop 1.0.3集群配置

配置环境:CentOS 6.6、RedHat9、Hadoop1.0.3、jdk1.6
基本配置:这里选择了cento6.6作为master,redhat9是slave

基于单节点伪分布式配置(参考单节点的配置),修改其配置:

step1:在master的配置:

NO1:修改hadoop1.0.3/conf/masters的内容为:
            192.168.0.8       #这是cento6.6作为master主机的IP
NO2:修改hadoop1.0.3/conf/slaves的内容为:
            192.168.0.195   #这是redhat9作为slave主机的IP
step2:将hadoop1.0.3从master上scp到slave上,存放的位置最好与master上面的一致:
NO1:在master和slave上配置ssh,都将password设置为空:
    [hjchaw@localhost ~]$ ssh-keygen -t rsa -P ""
       [hjchaw@localhost ~]$ cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys
NO2:将master上hadoop1.0.3的配置
    通过 scp hadoop1.0.3 192.168.0.195:/opt/hadoop/ -r 拷贝到slave上。
###################################################################################
完成以上两步配置:
    NO1:在master上使用hadoop namenode -format 格式化
    NO2:start-all.sh开启hadoop
###################################################################################
查看运行状态:
     在master上:
    [hjchaw@localhost hadoop-1.0.3]$ jps
     3478 NameNode
     3729 JobTracker
     6360 Jps
     在slave上:
     [hjchaw@localhost hadoop-1.0.3]$ jps
     2930 TaskTracker
     2857 DataNode
     3095 Jps
     可以在slave或者master上面使用命令行接口操作HDFS:
     [hjchaw@localhost hadoop-1.0.3]$ bin/hadoop fs -mkdir input
     [hjchaw@localhost hadoop-1.0.3]$ bin/hadoop fs -ls
     Found 1 items
     drwxr-xr-x   - hjchaw supergroup          0 2012-06-11 20:08 /user/hjchaw/input 以上就是hadoop的集群配置

内容版权声明:除非注明,否则皆为本站原创文章。

转载注明出处:http://www.heiqu.com/2231041ebb03e2b2363dbec28a7a49e4.html