欢迎访问我的GitHub
https://github.com/zq2599/blog_demos
内容:所有原创文章分类汇总及配套源码,涉及Java、Docker、Kubernetes、DevOPS等;
系列文章链接本文是《CDH5部署三部曲》的终篇,前面两章完成了CDH5集群的部署和启动,本章将实战中遇到的问题做个总结,如果碰巧您也遇到过这些问题,希望本文能给您一些参考;
《CDH5部署三部曲之一:准备工作》
《CDH5部署三部曲之二:部署和设置》
启动集群服务报错首次启动集群服务报错,如下图:
上述错误一般是对应节点的/usr/java/default目录下没有JDK所致,假设已将JDK部署在/usr/lib/jvm/jdk1.8.0_191,那么只需执行以下命令建立软链接即可:
mkdir /usr/java &&ln -s /usr/lib/jvm/jdk1.8.0_191 /usr/java/default点击页面上的重试按钮;
NFS Gateway启动失败发现NFS Gateway服务有问题,检查日志:
日志如下,在worker1节点上,portmap和rpcbind这两个服务不存在导致的:
No portmap or rpcbind service is running on this host. Please start portmap or rpcbind service before attempting to start the NFS Gateway role on this host.于是安装所需服务:
yum install -y nfs-utils rpcbind启动服务:
systemctl start rpcbind再次启动:
等待HDFS服务重启完成后,如下图,可见NFS Gateway问题已经消失:
问题如下图绿框所示:
目前只有一个datanode,可以增加一个,如下图,进入HDFS的实例页面,点击"添加角色实例":
点击下图红框位置,增加一个DataNode:
如下图,确保worker1和worker2都选上:
勾选后,点击红框2中的按钮,在下拉菜单中点击“启动”:
现在有了两个DataNode,所以副本数可以设置为2,如下图红框所示,按照顺序找出参数进行设置,记得点击右下角的"保存更改"按钮:
上述设置完成后,新写入hdfs的文件副本数为2,如果要将之前已经写入的文件的副本数也调整为2,请SSH登录worker1节点,执行以下命令切换到hdfs账号:
su - hdfs以hdfs账号的身份执行以下命令,即可完成副本数设置:
hadoop fs -setrep -R 2 /返回管理页面,可见HDFS的状态变成了健康: