Hadoop jobhistory历史服务器介绍(2)

{
   "type": "JOB_INITED",
   "event": {
      "org.apache.hadoop.mapreduce.jobhistory.JobInited": {
         "jobid": "job_1388830974669_1215999",
        "launchTime": 1392477383583,
         "totalMaps": 1,
        "totalReduces": 1,
        "jobStatus": "INITED",
        "uberized": false
      }
   }
}

这是Hadoop JOB初始化的一条信息,通过观察我们知道,*.jhist文件里面全部都是Json格式的数据。根据type进行区分这条Json的含义,在Hadoop中,总共包含了一下几个type:

"JOB_SUBMITTED",
"JOB_INITED",
"JOB_FINISHED",
"JOB_PRIORITY_CHANGED",
"JOB_STATUS_CHANGED",
"JOB_FAILED",
"JOB_KILLED",
"JOB_ERROR",
"JOB_INFO_CHANGED",
"TASK_STARTED",
"TASK_FINISHED",
"TASK_FAILED",
"TASK_UPDATED",
"NORMALIZED_RESOURCE",
"MAP_ATTEMPT_STARTED",
"MAP_ATTEMPT_FINISHED",
"MAP_ATTEMPT_FAILED",
"MAP_ATTEMPT_KILLED",
"REDUCE_ATTEMPT_STARTED",
"REDUCE_ATTEMPT_FINISHED",
"REDUCE_ATTEMPT_FAILED",
"REDUCE_ATTEMPT_KILLED",
"SETUP_ATTEMPT_STARTED",
"SETUP_ATTEMPT_FINISHED",
"SETUP_ATTEMPT_FAILED",
"SETUP_ATTEMPT_KILLED",
"CLEANUP_ATTEMPT_STARTED",
"CLEANUP_ATTEMPT_FINISHED",
"CLEANUP_ATTEMPT_FAILED",
"CLEANUP_ATTEMPT_KILLED",
"AM_STARTED"

而*.xml文件里面记录的是相应作业运行时候的完整参数配置,大家可以进去查看一下。

  (4)、每一个作业的历史记录都存放在一个单独的文件中。

  mapreduce.jobhistory.intermediate-done-dir配置的目录下主要存放的是当前正在运行的Hadoop任务的记录相关信息,感兴趣的同学可以进去看看,这里就不介绍了。

  如果对Hadoop历史服务器WEB UI上提供的数据不满意,我们就可以通过对mapreduce.jobhistory.done-dir配置的目录进行分析,得到我们感兴趣的信息,比如统计某天中运行了多少个map、运行最长的作业用了多少时间、每个用户运行的Mapreduce任务数、总共运行了多少Mapreduce数等信息,这样对监控Hadoop集群是很好的,我们可以根据那些信息来确定怎么给某个用户分配资源等等。

细心的同学可能发现,在Hadoop历史服务器的WEB UI上最多显示20000个历史的作业记录信息;其实我们可以通过下面的参数进行配置,然后重启一下Hadoop jobhistory即可。

<property>
    <name>mapreduce.jobhistory.joblist.cache.size</name>
    <value>20000</value>
</property>

Ubuntu14.04下Hadoop2.4.1单机/伪分布式安装配置教程 

CentOS安装和配置Hadoop2.2.0 

Ubuntu 13.04上搭建Hadoop环境

Ubuntu 12.10 +Hadoop 1.2.1版本集群配置

Ubuntu上搭建Hadoop环境(单机模式+伪分布模式)

Ubuntu下Hadoop环境的配置

单机版搭建Hadoop环境图文教程详解

搭建Hadoop环境(在Winodws环境下用虚拟机虚拟两个Ubuntu系统进行搭建)

内容版权声明:除非注明,否则皆为本站原创文章。

转载注明出处:https://www.heiqu.com/33ae3e5137e0eb961dbe6e3607482ba6.html