Hadoop 顺序文件格式

顺序文件提供了二进制key/value对的永久存储DS,也可以作为小文件的容器,也就是把小文件包装起来,获得更高效的存储和处理,比如将整个文件作为一条记录处理

顺序文件:文件头+一条或多条记录

记录的结构与是否启用压缩有关

没有 record length(4 byte)+ key length(4 bytes)+key + value

启用 格式与上面相同 不过除了key值都要按照header定义的codec进行压缩

块(block)压缩:一次对多条记录压缩,压缩效率更高,可利用记录间的相似性    io.seqfile.blocksize  1MB

每个新块的开始都需要插入同步标识 格式如下:

num of records Compressed key len Compressed keys Compressed value len Compressed values

写文件:指定key 和 value 的类型  Sequence.createWriter

读文件:new SequenceFile.Reader     ReflectionUtils.newInstance 分别获得key 和 value 的类型

搜索给定位置:

(1)seek(a) a 是边界位置 否则IOEcxption

(2)通同步点找到边界记录  SequenceFile.Reader sync(a) 方法可以将读取位置定位到a之后的下一个同步点

SeauenceFile.sync()  插入同步点

以文本形式显示顺序文件内容: Hadoop fs -text number.seq | head

排序和合并顺序文件: hadoop jar ***.jar sort -r 1 \

-inputFormat **

-outputFormat **

-outKey

-outValue

file  sorted

内容版权声明:除非注明,否则皆为本站原创文章。

转载注明出处:http://www.heiqu.com/2fd5a86c2807ef0301526f37a84d02a7.html