Hadoop入门之hdfs (2)

    (7) 客户端开始往dn1上传第一个block(先从磁盘读取数据放到一个本地内存缓存),以packet为单位,dn1收到一个packet就会传给dn2,dn2传给dn3; 

    (8) 当一个block传输完成之后,客户端再次请求NameNode上传第二个block的服务器。(重复执行3-7步)。

五、hdfs 读文件流程

             

Hadoop入门之hdfs

 

 

 

    (1) 客户端通过Distributed FileSystemNameNode请求下载文件,NameNode通过查询元数据,找到文件块所在的DataNode地址。

 

    (2) 挑选一台DataNode(就近原则,然后随机)服务器,请求读取数据

 

    (3) DataNode开始传输数据给客户端(从磁盘里面读取数据输入流,以packet为单位来做校验)。

 

    (4) 客户端以packet为单位接收,先在本地缓存,然后写入目标文件。

六、NN与2NN的工作机制

 

        

Hadoop入门之hdfs

 

 

    

    (1) 第一阶段:NameNode启动

 

      a) 第一次启动NameNode格式化后创建fsimage和edits文件。如果不是第一次启动,直接加载编辑日志和镜像文件到内存。

 

      b) 客户端对元数据进行增删改的请求

 

      c) NameNode记录操作日志,更新滚动日志

 

      d) NameNode在内存中对数据进行增删改查

 

    (2) 第二阶段:Secondary NameNode工作

 

      a) Secondary NameNode询问NameNode是否需要checkpoint直接带回NameNode是否检查结果。

 

      b) Secondary NameNode请求执行checkpoint。

 

      c) NameNode滚动正在写的edits日志

 

      d) 将滚动前的编辑日志和镜像文件拷贝到Secondary NameNode。

 

      e) Secondary NameNode加载编辑日志和镜像文件到内存,并合并。

 

      f) 生成新的镜像文件fsimage.chkpoint。

 

      g) 拷贝fsimage.chkpointNameNode

 

      h) NameNodefsimage.chkpoint重新命名成fsimage。

 

NN2NN工作机制详解:

fsimagenamenode内存中元数据序列化后形成的文件。

edits:记录客户端更新元数据信息的每一步操作(可通过Edits运算出元数据)。

namenode启动时,先滚动edits并生成一个空的edits.inprogress,然后加载edits(归档后的)和fsimage(最新的)到内存中,此时namenode内存就持有最新的元数据信息。client开始对namenode发送元数据的增删改查的请求,这些请求的操作首先会被记录在edits.inprogress中(查询元数据的操作不会被记录在edits中,因为查询操作不会更改元数据信息),如果此时namenode挂掉,重启后会从edits中读取元数据的信息。然后,namenode会在内存中执行元数据的增删改查的操作。

内容版权声明:除非注明,否则皆为本站原创文章。

转载注明出处:https://www.heiqu.com/zzszxg.html