十一、开启历史服务
Hadoop开启历史服务可以在web页面上查看Yarn上执行job情况的详细信息。可以通过历史服务器查看已经运行完的Mapreduce作业记录,比如用了多少个Map、用了多少个Reduce、作业提交时间、作业启动时间、作业完成时间等信息。
mr-jobhistory-daemon.sh start historyserver、
此命令已经被弃用,建议使用:mapred --daemon start historyserver
开启后,可以通过Web页面查看历史服务器:
:19888/
历史服务器的Web端口默认是19888,可以查看Web界面。
十二、节点免密登录
是指通过证书认证的方式登陆,使用一种被称为"公私钥"认证的方式来进行ssh登录
如果我们需要使用hadoop目录sbin/下的便捷脚本运行hadoop,就需要配置免密登录
root用户下:
ssh-keygen -t rsa 一路回车下去
cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys #.ssh这个隐藏目录的权限要求是700。
chmod 600 ~/.ssh/authorized_keys #这个文件需要特殊的权限要求。
这样就可以运行诸如:start-all.sh,start-dfs.sh这些脚本。
最后,说说hadoop3.0后端口的变化: