Hadoop介绍与安装配置方法(4)

•yarn-site.xml。YARN的配置文件

yarn.resourcemanager.hostname。YARN的ResourceManager所使用的机器。这个负责进行全局的资源分配,管理。
yarn.nodemanager.aux-services。可以自定义一些服务,比如MapReuce的shuffle就是用这个配置的。目前我们使用填shuffle就行了。

<configuration>
    <property>
        <name>mapreduce.framework.name</name>
        <value>yarn</value>
    </property>
    <property>
        <name>mapreduce.jobhistory.address</name>
        <value>Master:10020</value>
    </property>
    <property>
        <name>mapreduce.jobhistory.webapp.address</name>
        <value>Master:19888</value>
    </property>
</configuration>

1.配置好以后将Hadoop文件从主节点复制到各个从节点,Hadoop的HADFS与MapReduce就安装完成了。(CentOs系统需要关闭相应防火墙)

四 Hadoop生态圈其他组件安装

看看网友博客和官方文档差不多就会了,基本一个形式。下载解压-配置环境变量-配置组件的配置文件,基本都是xxxx-env.sh,xxx-site.sh,xxx-core.sh,slave,work这种,在里面按照需求配置参数就好了,具体参数意思和必须要配置的参数看看官方文档也就懂了(滑稽)。

总结

以上所述是小编给大家介绍的Hadoop介绍与安装配置方法,希望对大家有所帮助,如果大家有任何疑问请给我留言,小编会及时回复大家的。在此也非常感谢大家对黑区网络网站的支持!
如果你觉得本文对你有帮助,欢迎转载,烦请注明出处,谢谢!