Hadoop2.2.0版本多节点集群及Eclipse开发环境搭建(3)

背景：

Hadoop2.2.0版本多节点集群及Eclipse开发环境搭建

5）、hdfs-site.xml

<configuration>
 <property>
 <name>dfs.namenode.secondary.http-address</name>
        <value>master:9001</value>
 </property>

<property>
 <name>dfs.namenode.name.dir</name>
 <value>file:/home/Hadoop/dfs/name</value>
    </property>

<property>
    <name>dfs.datanode.data.dir</name>
    <value>file:/home/hadoop/dfs/data</value>
    </property>

<property>
    <name>dfs.replication</name>
    <value>3</value>
    </property>

<property>
    <name>dfs.webhdfs.enabled</name>
    <value>true</value>
 </property>
</configuration>

6）、mapred-site.xml

<configuration>
 <property>
  <name>mapreduce.framework.name</name>
        <value>yarn</value>
    </property>

<property>
        <name>mapreduce.jobhistory.address</name>
        <value>master:10020</value>
    </property>

<property>
        <name>mapreduce.jobhistory.webapp.address</name>
        <value>master:19888</value>
    </property>
</configuration>

7）、yarn-site.xml

<configuration>

<!-- Site specific YARN configuration properties -->
 <property>
  <name>yarn.nodemanager.aux-services</name>
        <value>mapreduce_shuffle</value>
    </property>

<property>
        <name>yarn.nodemanager.aux-services.mapreduce.shuffle.class</name>
        <value>org.apache.hadoop.mapred.ShuffleHandler</value>
    </property>

<property>
        <name>yarn.resourcemanager.address</name>
        <value>master:8032</value>
    </property>

<property>
        <name>yarn.resourcemanager.scheduler.address</name>
        <value>master:8030</value>
    </property>

<property>
        <name>yarn.resourcemanager.resource-tracker.address</name>
        <value>master:8031</value>
    </property>

<property>
        <name>yarn.resourcemanager.admin.address</name>
        <value>master:8033</value>
    </property>

<property>
        <name>yarn.resourcemanager.webapp.address</name>
        <value>master:8088</value>
    </property>

</configuration>

在GPU上运行Hadoop任务？ParallelX或许将...

Hadoop集群中的Mahout-distribution-0.7安装与配置

相关资讯      

本文评论 　　查看全部评论 (0)

评论声明

尊重网上道德，遵守中华人民共和国的各项有关法律法规

承担一切因您的行为而直接或间接导致的民事或刑事法律责任

本站管理人员有权保留或删除其管辖留言中的任意内容

本站有权在网站内转载或引用您的评论

参与本评论即表明您已经阅读并接受上述条款

最新资讯