2.检查文件(如果文件太多太费时间可以不做)
hadoop dfsadmin -safemode enter
检查元数据块(过滤所有以小圆点开始的行):
hadoop fsck / -files -blocks -locations |grep -v -E '^\.' > old-fsck.log
hadoop dfsadmin -safemode leave
3.停止hadoop集群
$HADOOP_HOME/bin/stop-all.sh
4.修改环境变量
source /etc/profile 各个集群都执行
echo $HADOOP_HOME 看是否是新的hadoop目录了
5.开始升级
hadoop-daemon.sh start namenode -upgrade 启动namenode升级
hadoop-daemons.sh start datanode 启动各个数据节点
打开日志文件观察有误错误,如果报内存溢出,修改hadoop-env.sh 文件的export HADOOP_HEAPSIZE,HADOOP_CLIENT_OPTS参数值和yarn-env.sh文件JAVA_HEAP_MAX参数值
打开50070端口web页面观察升级过程
等所有数据节点全部升级完成后,检查数据完整性(此过程根据集群数量得等一段时间)
hadoop fsck /
有问题回滚命令:
hadoop-daemon.sh start namenode -rollback
hadoop-daemons.sh start datanode –rollback
6.提交升级
运行一段时间后,观察没有问题,可以提交升级
hdfs dfsadmin -finalizeUpgrade
下面关于Hadoop的文章您也可能喜欢,不妨看看:
Ubuntu14.04下Hadoop2.4.1单机/伪分布式安装配置教程
CentOS安装和配置Hadoop2.2.0