RedHat 6.8 搭建 Hadoop 集群(6)

<configuration> <property> <name>mapreduce.framework.name</name> <value>yarn</value> </property> </configuration>

序号参数名默认值参数解释
1   mapreduce.framework.name   local   取值local、classic或yarn其中之一,如果不是yarn,则不会使用YARN集群来实现资源的分配  
2   mapreduce.jobhistory.address   0.0.0.0:10020   定义历史服务器的地址和端口,通过历史服务器查看已经运行完的Mapreduce作业记录  
3   mapreduce.jobhistory.webapp.address   0.0.0.0:19888   定义历史服务器web应用访问的地址和端口  
4.yarn-site.xml

集群资源管理系统参数,配置 ResourceManager,NodeManager 的通信端口,web监控端口等

<configuration> <!-- Site specific YARN configuration properties --> <property> <!--指定YARN的主机(ResourceManager)的地址--> <name>yarn.resourcemanager.hostname</name> <value>node-1</value> </property> <property> <!--nodeManager上运行的附属服务,需要配置成maperduce_shuffle,才可用MapReduce程序--> <name>yarn.nodemanager.aux-services</name> <value>mapreduce_shuffle</value> </property> </configuration>

序号参数名默认值参数解释
1   yarn.resourcemanager.address   0.0.0.0:8032   YARN的主机(ResourceManager)的地址, ResourceManager 提供给客户端访问的地址。客户端通过该地址向RM提交应用程序,杀死应用程序等  
2   yarn.resourcemanager.scheduler.address   0.0.0.0:8030   ResourceManager提供给ApplicationMaster的访问地址。ApplicationMaster通过该地址向RM申请资源、释放资源等  
3   yarn.resourcemanager.resource-tracker.address   0.0.0.0:8031   ResourceManager 提供给NodeManager的地址。NodeManager通过该地址向RM汇报心跳,领取任务等  
4   yarn.resourcemanager.admin.address   0.0.0.0:8033   ResourceManager 提供给管理员的访问地址。管理员通过该地址向RM发送管理命令等。  
5   yarn.resourcemanager.webapp.address   0.0.0.0:8088   ResourceManager对web 服务提供地址。用户可通过该地址在浏览器中查看集群各类信息  
6   yarn.nodemanager.aux-services       通过该配置项,用户可以自定义一些服务,例如Map-Reduce的shuffle功能就是采用这种方式实现的,这样就可以在NodeManager上扩展自己的服务。  

更多Hadoop相关信息见Hadoop 专题页面 https://www.linuxidc.com/topicnews.aspx?tid=13

Linux公社的RSS地址https://www.linuxidc.com/rssFeed.aspx

内容版权声明:除非注明,否则皆为本站原创文章。

转载注明出处:https://www.heiqu.com/7baa41065996a40a28b1c3997ffd519c.html