Hadoop(3)hdfs功能详解、hdfs架构剖析、hdfs优缺点

`HDFS(hadoop distributed filesystem)由四部分组成,HDFS Client、NameNode、DataNode和Secondary NameNode。HDFS是一个主/从(Mater/Slave)体系结构,HDFS集群拥有一个NameNode和一些DataNode。NameNode管理文件系统的元数据,DataNode存储实际的数据。

HDFS客户端:就是客户端。

1、提供一些命令来管理、访问 HDFS,比如启动或者关闭HDFS。

2、与 DataNode 交互,读取或者写入数据;读取时,要与 NameNode 交互,获取文件的位置信息;写入 HDFS 的时候,Client 将文件切分成 一个一个的Block,然后进行存储

NameNode:即Master,

1、管理 HDFS 的名称空间。

2、管理数据块(Block)映射信息

3、配置副本策略

4、处理客户端读写请求。

DataNode:

就是Slave。NameNode 下达命令,DataNode 执行实际的操作。

1、存储实际的数据块。

2、执行数据块的读/写操作。

Secondary NameNode:

并非 NameNode 的热备。当NameNode 挂掉的时候,它并不能马上替换 NameNode 并提供服务。

1、辅助 NameNode,分担其工作量。

2、定期合并 fsimage和fsedits,并推送给NameNode。

3、在紧急情况下,可辅助恢复 NameNode。

hdfs的架构详细剖析

HDFS分布式文件系统也是一个主从架构,主节点是我们的namenode,负责管理整个集群以及维护集群的元数据信息,从节点datanode,主要负责文件数据存储:

1)HDFS集群包括,NameNode和DataNode以及Secondary Namenode。

2)NameNode负责管理整个文件系统的元数据,以及每一个路径(文件)所对应的数据块信息。

3)DataNode 负责管理用户的文件数据块,每一个数据块都可以在多个datanode上存储多个副本。

4)Secondary NameNode用来监控HDFS状态的辅助后台程序,每隔一段时间获取HDFS元数据的快照。最主要作用是辅助namenode管理元数据信息

img

heartbeats是心跳的意思,每次启动hdfs,datanode都会通过心跳向namenode汇报自己的存储情况,

balancing是平衡的意思,表示namenode合适分配块的存储位置,使每个节点负载均衡

namenode与datanode

Namenode与Datanode的关系图示:

image-20200209215609892

NameNode与Datanode的总结概述

image-20200209223101423

hdfs文件系统容量大小

hdfs文件系统容量大小约等于各个服务器的容量大小之和得到,为什么是约等于?因为每个服务器都要留部分空间给自身系统等东西,不能全部用来做hdfs的容量。

![image-20200209215327357](https://img2020.cnblogs.com/blog/1362875/202008/1362875-20200826235007228-541574548.png) hdfs存储方式---block

image-20200209222846250

hdfs的数据以block块的形式进统一存储管理,每个block块默认最多可以存储128M的文件,如果有一个文件大小为1KB,也是要占用一个block块,但是实际占用磁盘空间还是1KB大小,类似于有一个水桶可以装128斤的水,但是我只装了1斤的水,那么我的水桶里面水的重量就是1斤,而不是128斤。除了些用不可分割算法进行压缩的文件不可被切分外,几乎所有文件都可以被切割。

每个block块的元数据大小大概为150字节

所有的文件都是以block块的方式存放在HDFS文件系统当中,block块的大小可以通过hdfs-site.xml当中的配置文件进行指定:

<property> <name>dfs.block.size</name> <value>块大小 以字节为单位</value> <!--只写数值就可以--> </property>

抽象成数据块的好处:

一个文件有可能大于集群中任意一个磁盘
10T*3/128 = xxx块 2T,2T,2T 文件方式存—–>多个block块,这些block块属于一个文件

使用块抽象而不是文件可以简化存储子系统

块非常适合用于数据备份进而提供数据容错能力和可用性

hdfs的副本因子

内容版权声明:除非注明,否则皆为本站原创文章。

转载注明出处:https://www.heiqu.com/zwxpsw.html