Hadoop2.2.0中DFSInputStream类的read方法浅析

DFSInputStream类共有三个read方法:

public synchronized int read(final ByteBuffer buf)


public synchronized int read(final byte buf[], int off, int len)


public int read(long position, byte[] buffer, int offset, int length)


最有吸引人的方法是第三个,支持部分读取HDFS文件,这是由于此类的父类实现了Seekable, PositionedReadable接口。

这里对第三个方法的参数加以解释:

position :针对指定hdfs文件的位置,开始从position读起;


offset      :针对buffer而言,内容从offset开始填起,就是说buffer中的前(offset-1)的空间会空出来(不伤害之前填写的内容);

length    :本次读取的长度(byte单位),确保offset+length <= buffer.size;

这里纠正一个习惯看法,之前一直说block是Hadoop的基本管理单元,很容易容易hadoop每次会把一整个块的数据读入内存。跟踪源码发现,hadoop读入块信息,再根据具体的偏移信息读入相关的部分数据,而不是每次都机械的读入整个块。

相关阅读:

将本地文件拷到HDFS中

从HDFS下载文件到本地

将本地文件上传至HDFS

HDFS基本文件常用命令

Hadoop中HDFS和MapReduce节点基本简介

《Hadoop实战》中文版+英文文字版+源码【PDF】

Hadoop: The Definitive Guide【PDF版】

内容版权声明:除非注明,否则皆为本站原创文章。

转载注明出处:http://www.heiqu.com/894df5ac5d502caa9b7ff691cbf80866.html