2.4.1学习之NameNode

Hadoop-2.X中,使用hdfs namenode –format对文件系统进行格式化。虽然无论是在生产环境还是测试环境中,已经使用了该命令若干次了,也大体了解该命令就是在本地文件系统中创建几个文件夹,但具体是如何执行的则需要通过阅读源代码来了解了。

要想看到该命令的源代码,需要看看hdfs脚本中是如何执行相应的java类的。在hdfs脚本中,下面的语句说明了实际执行的java类和参数,其中类为org.apache.hadoop.hdfs.server.namenode.NameNode,参数为-format。虽然在命令行中输入的为hdfs namenode –forma,但将namenode赋予了COMMAND,并进行了参数的移位,这样参数就剩下了-format。

--------------------------------------分割线 --------------------------------------

Ubuntu 13.04上搭建Hadoop环境

Ubuntu 12.10 +Hadoop 1.2.1版本集群配置

Ubuntu上搭建Hadoop环境(单机模式+伪分布模式)

Ubuntu下Hadoop环境的配置

单机版搭建Hadoop环境图文教程详解

搭建Hadoop环境(在Winodws环境下用虚拟机虚拟两个Ubuntu系统进行搭建)

--------------------------------------分割线 --------------------------------------

COMMAND=$1
Shift

if [ "$COMMAND" = "namenode" ] ; then
 
  HADOOP_OPTS="$HADOOP_OPTS $HADOOP_NAMENODE_OPTS"

exec "$JAVA" -Dproc_$COMMAND $JAVA_HEAP_MAX $HADOOP_OPTS $CLASS "$@"

在eclipse中找到org.apache.hadoop.hdfs.server.namenode.NameNode,并定位到main方法,代码如下:

public static void main(String argv[]) throws Exception {
    if (DFSUtil.parseHelpArgument(argv, NameNode.USAGE, System.out, true)) {
      System.exit(0);
    }

try {
      StringUtils.startupShutdownMessage(NameNode.class, argv, LOG);
      NameNode namenode = createNameNode(argv, null);
      if (namenode != null) {
        namenode.join();
      }
    } catch (Throwable e) {
      LOG.fatal("Exception in namenode join", e);
      terminate(1, e);
    }
  }

其中parseHelpArgument方法用于解析命令行参数,startupShutdownMessage方法输出启动和关闭的信息,NameNode的主要工作由createNameNode方法完成。在createNameNode中执行format方法之前先对参数进行了解析,具体代码如下,其中argv根据format时使用的参数可以为:-format [-clusterid cid ] [-force] [-nonInteractive](完整的命令为hdfs namenode [-format [-clusterid cid ] [-force] [-nonInteractive]])。该方法用于设置StartupOption中的clusterId为cid,若使用了-force参数则StartupOption中的isForceFormat为true,若使用了-nonInteractive则将StartupOption中的isInteractiveFormat为false,后两个参数的默认值为false和true。

StartupOption startOpt = parseArguments(argv);

在createNameNode方法中与-format有关系的代码如下,且在执行完毕后返回null,结合main方法中的代码可以得知,HDFS的format执行完毕。format方法的参数分别为HdfsConfiguration、isForceFormat和isInteractiveFormat。

case FORMAT: {
        boolean aborted = format(conf, startOpt.getForceFormat(),
            startOpt.getInteractiveFormat());
        terminate(aborted ? 1 : 0);
        return null; // avoid javac warning
      }

接下来进入format方法,看看具体都执行了哪些操作,由于该方法是整个HDFS格式化的核心方法,所以会完整细致的分析该方法,这样势必会将整个方法分成几个部分,下面是第一部分的代码,这部分代码用于获取NameNode的NameServiceID和NameNode ID,并检查NameNode是否允许格式化,其中使用了参数dfs.namenode.support.allow.format,该参数的默认值为true(在生产环境中可以在格式化完成后将该参数设置为false,避免格式化正在运行的HDFS)。

String nsId = DFSUtil.getNamenodeNameServiceId(conf);
    String namenodeId = HAUtil.getNameNodeId(conf, nsId);
    initializeGenericKeys(conf, nsId, namenodeId);
    checkAllowFormat(conf);

if (UserGroupInformation.isSecurityEnabled()) {
      InetSocketAddress socAddr = getAddress(conf);
      SecurityUtil.login(conf, DFS_NAMENODE_KEYTAB_FILE_KEY,
          DFS_NAMENODE_USER_NAME_KEY, socAddr.getHostName());
    }

内容版权声明:除非注明,否则皆为本站原创文章。

转载注明出处:https://www.heiqu.com/e41a42bc4bd91fa35c5978e2d7f0cfc2.html