当我们将作业提交到Hadoop 的集群上之后,我们会发现一个问题就是无法通过web查看job运行情况,比如启动了多少个map任务,启动多少个reduce任务啊,分配多少个conbiner等等。这些信息都是作业在运行是可以查看的。而我的想要的就是能够通过远程的web可以查看到作业job的运行情况,以及它的详细信息。
下面介绍一下查看的方式:
1、当你提交作业时,我们首先通过命令行的方式提交作业后,我们可以打开Yarn的web界面,如下图所示:
在这个页面上可以看到作业的提交情况,若你提交作业之后会出现如下图所示:(请注意红色的矩形区域部分的变化)
当ApplicationMaster启动起来后就会看到如下图所示:此时可以点击ApplicationMaster进入查看作业job在运行的详细状态。
当作业运行完之后,我们可以看到上面第一幅图的样子。此时会显示History的状态,表示改作业已经运行完毕,如果想查看作业历史运行信息就可以点击History查看。若未启动historyserver的话,是无法查看作业job的历史记录的。因此需要启动作业的historyserver。启动的方法是通过执行命令:mr-jobhistory-daemon.sh start historyserver。也可以通过mapred historyserver的方式来启动。
在这之前必须要在mapred-site.xml中配置相应的参数: