在/opt/hadoop-2.6.0-cdh5.14.0/hadoopDatas/datanodeDatas/current这个目录下查看版本号
cat VERSION #Thu Mar 14 07:58:46 CST 2019 storageID=DS-47bcc6d5-c9b7-4c88-9cc8-6154b8a2bf39 clusterID=CID-dac2e9fa-65d2-4963-a7b5-bb4d0280d3f4 cTime=0 datanodeUuid=c44514a0-9ed6-4642-b3a8-5af79f03d7a4 storageType=DATA_NODE layoutVersion=-56具体解释:
storageID：存储id号。
clusterID集群id，全局唯一。
cTime属性标记了datanode存储系统的创建时间，对于刚刚格式化的存储系统，这个属性为0；但是在文件系统升级之后，该值会更新到新的时间戳。
datanodeUuid：datanode的唯一识别码。
storageType：存储类型。
layoutVersion是一个负整数。通常只有HDFS增加新特性时才会更新这个版本号。
datanode多目录配置
datanode也可以配置成多个目录，每个目录存储的数据不一样。即：数据不是副本。具体配置如下：
- 只需要在value中使用逗号分隔出多个存储目录即可
需求说明:
随着公司业务的增长，数据量越来越大，原有的数据节点的容量已经不能满足存储数据的需求，需要在原有集群基础上动态添加新的数据节点。
10.1.1 环境准备复制一台新的虚拟机出来
将我们纯净的虚拟机复制一台出来，作为我们新的节点
修改mac地址以及IP地址
修改mac地址命令 vim /etc/udev/rules.d/70-persistent-net.rules 修改ip地址命令 vim /etc/sysconfig/network-scripts/ifcfg-eth0关闭防火墙，关闭selinux
关闭防火墙 service iptables stop 关闭selinux vim /etc/selinux/config更改主机名
更改主机名命令，将node04主机名更改为node04.hadoop.com vim /etc/sysconfig/network四台机器更改主机名与IP地址映射
四台机器都要添加hosts文件 vim /etc/hosts 192.168.52.100 node01.hadoop.com node01 192.168.52.110 node02.hadoop.com node02 192.168.52.120 node03.hadoop.com node03 192.168.52.130 node04.hadoop.com node04node04服务器关机重启
node04执行以下命令关机重启 reboot -h nownode04安装jdk
node04统一两个路径 mkdir -p /export/softwares/ mkdir -p /export/servers/然后解压jdk安装包，配置环境变量
解压hadoop安装包
在node04服务器上面解压hadoop安装包到/export/servers , node01执行以下命令将hadoop安装包拷贝到node04服务器 cd /export/softwares/ scp hadoop-2.6.0-cdh5.14.0-自己编译后的版本.tar.gz node04:$PWD node04解压安装包 tar -zxf hadoop-2.6.0-cdh5.14.0-自己编译后的版本.tar.gz -C /export/servers/将node01关于hadoop的配置文件全部拷贝到node04
node01执行以下命令，将hadoop的配置文件全部拷贝到node04服务器上面 cd /export/servers/hadoop-2.6.0-cdh5.14.0/etc/hadoop/ scp ./* node04:$PWD 10.1.2 服役新节点具体步骤创建dfs.hosts文件
在node01也就是namenode所在的机器的/export/servers/hadoop-2.6.0-cdh5.14.0/etc/hadoop目录下创建dfs.hosts文件 [root@node01 hadoop]# cd /export/servers/hadoop-2.6.0-cdh5.14.0/etc/hadoop [root@node01 hadoop]# touch dfs.hosts [root@node01 hadoop]# vim dfs.hosts 添加如下主机名称（包含新服役的节点） node01 node02 node03 node04node01编辑hdfs-site.xml添加以下配置
在namenode的hdfs-site.xml配置文件中增加dfs.hosts属性
node01执行以下命令 : cd /export/servers/hadoop-2.6.0-cdh5.14.0/etc/hadoop vim hdfs-site.xml # 添加一下内容 <property> <name>dfs.hosts</name> <value>/export/servers/hadoop-2.6.0-cdh5.14.0/etc/hadoop/dfs.hosts</value> </property> <!--动态上下线配置: 如果配置文件中有, 就不需要配置--> <property> <name>dfs.hosts</name> <value>/export/servers/hadoop-2.6.0-cdh5.14.0/etc/hadoop/accept_host</value> </property> <property> <name>dfs.hosts.exclude</name> <value>/export/servers/hadoop-2.6.0-cdh5.14.0/etc/hadoop/deny_host</value> </property>刷新namenode
node01执行以下命令刷新namenode
[root@node01 hadoop]# hdfs dfsadmin -refreshNodes Refresh nodes successful更新resourceManager节点
node01执行以下命令刷新resourceManager
[root@node01 hadoop]# yarn rmadmin -refreshNodes 19/03/16 11:19:47 INFO client.RMProxy: Connecting to ResourceManager at node01/192.168.52.100:8033namenode的slaves文件增加新服务节点主机名称