VMware上CentOS7.0+Hadoop3.1伪分布式搭建(4)

十一、开启历史服务

Hadoop开启历史服务可以在web页面上查看Yarn上执行job情况的详细信息。可以通过历史服务器查看已经运行完的Mapreduce作业记录,比如用了多少个Map、用了多少个Reduce、作业提交时间、作业启动时间、作业完成时间等信息。


mr-jobhistory-daemon.sh start historyserver、
此命令已经被弃用,建议使用:mapred --daemon start historyserver
 

开启后,可以通过Web页面查看历史服务器:

:19888/

历史服务器的Web端口默认是19888,可以查看Web界面。

VMware上CentOS7.0+Hadoop3.1伪分布式搭建

十二、节点免密登录

是指通过证书认证的方式登陆,使用一种被称为"公私钥"认证的方式来进行ssh登录

如果我们需要使用hadoop目录sbin/下的便捷脚本运行hadoop,就需要配置免密登录

root用户下:

ssh-keygen -t rsa 一路回车下去

cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys #.ssh这个隐藏目录的权限要求是700。
  chmod 600 ~/.ssh/authorized_keys #这个文件需要特殊的权限要求。

这样就可以运行诸如:start-all.sh,start-dfs.sh这些脚本。

最后,说说hadoop3.0后端口的变化:

内容版权声明:除非注明,否则皆为本站原创文章。

转载注明出处:https://www.heiqu.com/387e0b236ec03defa182a2270f5cf93f.html