初识HDFS原理及框架(3)

这里设置的副本数只是记录在namenode的元数据中,是否真的会有这么多副本,还得看datanode的数量。如果只有3台设备,最多也就3个副本,只有节点数的增加到10台时,副本数才能达到10。

6.HDFS相关参数 No   参数名称   默认值   所属参数文件   描述  
1  

dfs.block.size,

dfs.blocksize

  134217728   hdfs-site.xml   以字节计算的新建 HDFS 文件默认块大小。请注意该值也用作 HBase 区域服务器 HLog 块大小。  
2   dfs.replication   3   hdfs-site.xml   HDFS文件的数据块复制份数。  
3   dfs.webhdfs.enabled   TRUE   hdfs-site.xml   启用 WebHDFS 界面,启动50070端口。  
4   dfs.permissions   TRUE   hdfs-site.xml   HDFS文件权限检查。  
5   dfs.datanode.failed.volumes.tolerated   0   hdfs-site.xml   能够导致DN挂掉的坏硬盘最大数,默认0就是只要有1个硬盘坏了,DN就会shutdown。  
6  

dfs.data.dir,

dfs.datanode.data.dir

  xxx,xxx   hdfs-site.xml   DataNode数据保存路径,可以写多块硬盘,逗号分隔  
7  

dfs.name.dir,

dfs.namenode.name.dir

  xxx,xxx   hdfs-site.xml   NameNode本地元数据存储目录,可以写多块硬盘,逗号分隔  
8   fs.trash.interval   1   core-site.xml   垃圾桶检查频度(分钟)。要禁用垃圾桶功能,请输入0。  
9   dfs.safemode.min.datanodes   0   hdfs-site.xml   指定在名称节点存在 safemode 前必须活动的 DataNodes 数量。输入小于或等于 0 的值,以在决定启动期间是否保留 safemode 时将活动的 DataNodes 数量考虑在内。值大于群集中 DataNodes 的数量时将永久保留 safemode。  
10   dfs.client.read.shortcircuit   TRUE   hdfs-site.xml   启用 HDFS short circuit read。该操作允许客户端直接利用 DataNode 读取 HDFS 文件块。这样可以提升本地化的分布式客户端的性能  
11   dfs.datanode.handler.count   3   hdfs-site.xml   DataNode 服务器线程数。默认为3,较大集群,可适当调大些,比如8。  
12   dfs.datanode.max.xcievers, dfs.datanode.max.transfer.threads   256   hdfs-site.xml   指定在 DataNode 内外传输数据使用的最大线程数,datanode在进行文件传输时最大线程数  
13   dfs.balance.bandwidthPerSec, dfs.datanode.balance.bandwidthPerSec   1048576   hdfs-site.xml   每个 DataNode 可用于平衡的最大带宽。单位为字节/秒  

以上参数中可能有2个名称,前面一个是老版本1.x的后面的是新版本2.x的。

使用HDFS dfs命令对文件进行增删改查操作 https://www.linuxidc.com/Linux/2018-08/153641.htm

Hadoop集群间的HDFS文件拷贝  https://www.linuxidc.com/Linux/2017-09/146879.htm

Linux公社的RSS地址https://www.linuxidc.com/rssFeed.aspx

内容版权声明:除非注明,否则皆为本站原创文章。

转载注明出处:https://www.heiqu.com/eff407623926876ff12e703cb02f58af.html