这里设置的副本数只是记录在namenode的元数据中,是否真的会有这么多副本,还得看datanode的数量。如果只有3台设备,最多也就3个副本,只有节点数的增加到10台时,副本数才能达到10。
6.HDFS相关参数 No 参数名称 默认值 所属参数文件 描述1
dfs.block.size,
dfs.blocksize
134217728 hdfs-site.xml 以字节计算的新建 HDFS 文件默认块大小。请注意该值也用作 HBase 区域服务器 HLog 块大小。2 dfs.replication 3 hdfs-site.xml HDFS文件的数据块复制份数。
3 dfs.webhdfs.enabled TRUE hdfs-site.xml 启用 WebHDFS 界面,启动50070端口。
4 dfs.permissions TRUE hdfs-site.xml HDFS文件权限检查。
5 dfs.datanode.failed.volumes.tolerated 0 hdfs-site.xml 能够导致DN挂掉的坏硬盘最大数,默认0就是只要有1个硬盘坏了,DN就会shutdown。
6
dfs.data.dir,
dfs.datanode.data.dir
xxx,xxx hdfs-site.xml DataNode数据保存路径,可以写多块硬盘,逗号分隔7
dfs.name.dir,
dfs.namenode.name.dir
xxx,xxx hdfs-site.xml NameNode本地元数据存储目录,可以写多块硬盘,逗号分隔8 fs.trash.interval 1 core-site.xml 垃圾桶检查频度(分钟)。要禁用垃圾桶功能,请输入0。
9 dfs.safemode.min.datanodes 0 hdfs-site.xml 指定在名称节点存在 safemode 前必须活动的 DataNodes 数量。输入小于或等于 0 的值,以在决定启动期间是否保留 safemode 时将活动的 DataNodes 数量考虑在内。值大于群集中 DataNodes 的数量时将永久保留 safemode。
10 dfs.client.read.shortcircuit TRUE hdfs-site.xml 启用 HDFS short circuit read。该操作允许客户端直接利用 DataNode 读取 HDFS 文件块。这样可以提升本地化的分布式客户端的性能
11 dfs.datanode.handler.count 3 hdfs-site.xml DataNode 服务器线程数。默认为3,较大集群,可适当调大些,比如8。
12 dfs.datanode.max.xcievers, dfs.datanode.max.transfer.threads 256 hdfs-site.xml 指定在 DataNode 内外传输数据使用的最大线程数,datanode在进行文件传输时最大线程数
13 dfs.balance.bandwidthPerSec, dfs.datanode.balance.bandwidthPerSec 1048576 hdfs-site.xml 每个 DataNode 可用于平衡的最大带宽。单位为字节/秒
以上参数中可能有2个名称,前面一个是老版本1.x的后面的是新版本2.x的。
使用HDFS dfs命令对文件进行增删改查操作 https://www.linuxidc.com/Linux/2018-08/153641.htm
Hadoop集群间的HDFS文件拷贝 https://www.linuxidc.com/Linux/2017-09/146879.htm
Linux公社的RSS地址:https://www.linuxidc.com/rssFeed.aspx