大数据技术开篇之Hadoop入门【hdfs】
学习都是从了解到熟悉的过程，而学习一项新的技术的时候都是从这个技术是什么？可以干什么？怎么用？如何优化？这几点开始。今天这篇文章分为两个部分。一、hadoop概述 二、hadoop核心技术之一的hdfs的讲解。
【hadoop概述】
一、hadoop是什么？
Hadoop是一个由Apache基金会所开发的分布式系统基础架构。用户可以在不了解分布式底层细节的情况下，开发分布式程序。充分利用集群的威力进行高速运算和存储。Hadoop实现了一个分布式文件系统（Hadoop Distributed File System），简称HDFS。HDFS有高容错性的特点，并且设计用来部署在低廉的（low-cost）硬件上；而且它提供高吞吐量（high throughput）来访问应用程序的数据，适合那些有着超大数据集（large data set）的应用程序。HDFS放宽了（relax）POSIX的要求，可以以流的形式访问（streaming access）文件系统中的数据。Hadoop的框架最核心的设计就是：HDFS和MapReduce。HDFS为海量的数据提供了存储，而MapReduce则为海量的数据提供了计算。
简单概况就是hadoop是一个分布式系统的基础架构，通过分布式来进行高速运算和存储。
二、用来干什么？
主要用来解决海量数据存储和海量数据运算的问题
三、当前版本
Apach 版本：主要用于自己学习研究方面，免费开源版本
Cloudera：收费版本，企业版本。目前公司商用化最多的版本。
Hortonworks：商业版本，这个版本的优势在于参考文档相对详尽，学习起来比较方便
四、hadoop组成
commons:辅助工具
hdfs：一个分布式高吞吐量，高可靠的分布式文件系统
mapreduce 一个分布式离线计算框架
yarn：作业调度和资源管理的框架。
五、集群模式
单节点模式，伪集群，完整集群。三个模式
HDFS 学习
一、hdfs是什么？
hdfs一个分布式高吞吐量，高可靠的分布式文件系统。
二、hdfs优缺点：
优点：
【1】高容错性，数据自动保存多个副本，一个副本丢失后可以自动恢复
【2】适合大数据的处理
数据可以达到gb,Tb,pb级别，文件处理可以达到百万以上的规模
【3】可以构建在廉价的机器上面，通过多副本来实现可靠性
缺点：
【1】不适合低延时数据访问，比如毫秒级别做不到
【2】无法高效对大量小文件进行存储
【3】不支持文件的随机修改，仅支持文件的追加
三、hdfs的组成：
Client:客户端
【1】文件切分。文件上传时将文件切成一个个block块
【2】与NameNode交互，获取文件的位置信息
【3】与DataNode交互，读取或写入数据
【4】client提供一些命令来管理Hdfs，比如启动或者关闭
【5】client可以通过命令来访问Hdfs
NameNode就是Master，它是一个主管、管理者
【1】管理数据块的原信息
【2】配置副本策略
【3】处理客户端请求
DateNode
【1】存储实际的数据块
【2】执行数据块的读写操作
econdaryNameNode：并非NameNode的热备。当NameNode挂掉的时候，它并不能马上替换NameNode并提供服务
【1】辅助NameNode，分担其工作量
【2】定期合并Fsimage和Edits，并推送给NameNode；
【3】在紧急情况下，可辅助恢复NameNode。
四、hdfs文件写入流程
（1） 客户端通过Distributed FileSystem模块向NameNode请求上传文件，NameNode检查目标文件是否已存在，父目录是否存在。
（2） NameNode返回是否可以上传。
（3） 客户端请求第一个 block上传到哪几个datanode服务器上。
（4） NameNode返回3个datanode节点，分别为dn1、dn2、dn3。
（5） 客户端通过FSDataOutputStream模块请求dn1上传数据，dn1收到请求会继续调用dn2，然后dn2调用dn3，将这个通信管道建立完成。
（6） dn1、dn2、dn3逐级应答客户端。