深入浅出Hadoop之HDFS(2)

touch test.txt hdfs dfs -mkdir /user/qingge/testdir hdfs dfs -copyFromLocal ./test.txt /user/qingge/testdir/ hdfs dfs -ls /user/qingge/testdir/test.txt hdfs dfs -chmod o-r /user/qingge/testdir/test.txt hdfs dfs -cat /user/qingge/testdir/test.txt | head -10 hdfs dfs -mv /user/qingge/testdir/test.txt /user/qingge/testdir/test2.txt

hdfs fsck /data/lalala -files -blocks -locations
hdfs fsck -blockId blk_10101010

HTTP 访问

(1) direct access: HDFS daemons server HTTP requests, embedded web servers in the name node and datanodes act as WebHDFS endpoionts.

(2) proxy access: 中间有多个HDFS proxy，for strictr firewall and bandwidth-limiting policies, proxy和node之间使用RPC request和block request。

HDFS Federation

相当于namenode sharding了，如果不想用HA，然后namenode内存又要爆了怎么办，答分区呀，每个namenode从根目录下划走几个子目录，无线分区无线扩充，每个namenode之间井水不犯河水，一个爆了或废了丝毫不影响另一个。

思考题：

如果HDFS有1PB容量，每个block大小是64MB，平均的metadata大小是每个block300B，replication factor是3， 那么namenode最小的内存是多少呢？

答：差不多需要1.56G， 1024*1024*1024 MB/(64MB*3)*300B/(1024 * 1024 * 1024) = 1.56 GB

好，今天差不多就到这了～～ happy HDFS！

Hadoop2.3-HA高可用集群环境搭建 

Hadoop项目之基于CentOS7的Cloudera 5.10.1（CDH）的安装部署 

Hadoop2.7.2集群搭建详解（高可用） 

使用Ambari来部署Hadoop集群（搭建内网HDP源） 

Ubuntu 14.04下Hadoop集群安装 

CentOS 6.7安装Hadoop 2.7.2 

Ubuntu 16.04上构建分布式Hadoop-2.7.3集群 

CentOS 7 下 Hadoop 2.6.4 分布式集群环境搭建 

Hadoop2.7.3+Spark2.1.0完全分布式集群搭建过程