如下图红框所示,Hive启动失败,日志中提示Version information not found in metastore
从上图可见Hive服务在worker2上,于是SSH登录worker2,将/usr/share/java目录下的mysql-connector-java.jar文件复制到这个目录下:/opt/cloudera/parcels/CDH-5.7.6-1.cdh5.7.6.p0.6/lib/hive/lib/
在Hive的配置页面,搜索"hive.metastore.schema.verification",如下图,确保红框3中的复选框取消勾选:
修改配置datanucleus.autoCreateSchema,如下图,确保红框3中的复选框被选中:
重启完成后,Hive状态为健康:
在worker1或者worker2上执行spark-shell命令进入spark控制台时,会产生内存相关的错误,需要调整YARM相关的内存参数:
在YARN的配置页面,调整yarn.scheduler.maximum-allocation-mb和yarn.nodemanager.resource.memory-mb这两个参数的值,原有的值都是1G,现在都改成2G,如下图:
重启YARN;
重启Spark;
执行spark-shell命令之前,先执行命令su - hdfs切换到hdfs账号;
这次终于成功进入spark-shell交互模式:
Hue启动失败如下图:
上述失败是由于文件夹、文件、httpd服务没有准备好导致的,执行以下命令修复此问题:
mkdir /var/log/hue-httpd/ chown hue:hue /var/log/hue-httpd/ cd /var/log/hue-httpd/ touch error_log chown hue:hue /var/log/hue-httpd/error_log yum install -y httpd mod_ssl cyrus-sasl-plain cyrus-sasl-devel cyrus-sasl-gssapi在网页上重启Hue服务,稍后可见服务已经正常:
以上就是本次实战过程中遇到的所有问题和解决方法,至此《CDH5部署三部曲》全部完成,如果您正在部署CDH,希望此系列文章能给您一些参考。
欢迎关注公众号:程序员欣宸微信搜索「程序员欣宸」,我是欣宸,期待与您一同畅游Java世界...
https://github.com/zq2599/blog_demos