Hadoop2集群搭建过程(3)

1.5.2.  修改文件yarn-site.xml
<property>
  <name>yarn.resourcemanager.ha.enabled</name>
  <value>true</value>
 </property>

【打开resourcemanager ha模式】

<property>
  <name>yarn.resourcemanager.cluster-id</name>
  <value>yarn-ha-cluster</value>
 </property>

【打开resourcemanager ha的集群名称，这个名称可以在zookeeper中查看】

<property>
  <name>yarn.resourcemanager.ha.rm-ids</name>
  <value>rm1,rm2</value>
 </property>

【设置resourcemanager的id,可以与主机同名】

<property>
  <name>yarn.resourcemanager.hostname.rm1</name>
  <value>hadoop0</value>
 </property>

【指定rm1对应哪一台主机】

<property>
  <name>yarn.resourcemanager.hostname.rm2</name>
  <value>hadoop1</value>
 </property>

【指定rm1对应哪一台主机】

<property>
  <name>yarn.resourcemanager.zk-address</name>
  <value>zk1:2181,zk2:2181,zk3:2181</value>
 </property>
 
 
 
<property>
  <name>yarn.nodemanager.aux-services</name>
  <value>mapreduce_shuffle</value>
 </property>
<!---用什么方式进行数据传递->
 
<property>     
 <name>yarn.log-aggregation-enable</name>     
 <value>true</value> 
</property>

【设置日志合并】

<property>
 <name>yarn.application.classpath</name>
 <value>
  /usr/local/hadoop-2.5.0-cdh5.3.8/etc/hadoop,
  /usr/local/hadoop-2.5.0-cdh5.3.8/share/hadoop/common/*,
  /usr/local/hadoop-2.5.0-cdh5.3.8/share/hadoop/common/lib/*,
  /usr/local/hadoop-2.5.0-cdh5.3.8/share/hadoop/hdfs/*,
  /usr/local/hadoop-2.5.0-cdh5.3.8/share/hadoop/hdfs/lib/*,
  /usr/local/hadoop-2.5.0-cdh5.3.8/share/hadoop/yarn/*,
  /usr/local/hadoop-2.5.0-cdh5.3.8/share/hadoop/yarn/lib/*,
  /usr/local/hbase-0.98.6-cdh5.3.8/lib/*,
  /usr/local/hadoop-2.5.0-cdh5.3.8/lib_dc/*,
  /usr/local/hbase-0.98.6-cdh5.3.8/conf/
 </value>
</property>

【设置classpath,没有新增外部jar的话，不需要配这个】

<!--设置调度器类型为CapacityScheduler， 默认是公平调度器-->
<property>
 <name>yarn.resourcemanager.scheduler.class</name> <value>org.apache.hadoop.yarn.server.resourcemanager.scheduler.capacity.CapacityScheduler</value>
</property>
 
<!--设置nodemanager节点内存大小，CPU个数-->
  <property>
      <name>yarn.nodemanager.resource.memory-mb</name>
      <value>28672</value>
</property>

【设置nodemanager节点内存大小 28G】

<property>
      <name>yarn.nodemanager.resource.cpu-vcores</name>
      <value>14</value>
</property>

【设置nodemanager节点内存大小 14个core】

<property>
      <name>yarn.timeline-service.enabled</name>
      <value>true</value>
  </property>

【打开timeline服务】

1.5.3 修改环境变量（可以不改，使用默认配置）
1.5.3.1 修改 yarn-env.sh
YARN_LOG_DIR=/data0/hadoop2/logs

【修改yarn的日志目录，默认在$HADOOP_HOME/logs下】

1.5.3.2 修改hadoop-env.sh
1 export JAVA_HOME=/usr/java/jdk1.7.0_25

【修改jdk】

export HADOOP_LOG_DIR=/data0/hadoop2/logs

【修改hadoop的日志目录，默认在$HADOOP_HOME/logs下】

export HADOOP_PID_DIR=/data0/hadoop2/pid

【修改hadoop pid目录】