HDFS小文件处理解决方案总结+FaceBook(HayStack) + 淘宝(4)

六、facebookHayStack解决方案概述

DFS小文件处理解决方案总结+FaceBook(HayStack) + 淘宝(TFS)

DFS小文件处理解决方案总结+FaceBook(HayStack) + 淘宝(TFS)

haystack是一个不同于HDFS的分布式系统,如果想在HDFS的基础上构建小文件存储系统,个人认为可以参考借鉴其索引结构的设计。

1、  directory 中有logical volume  idphysicalvolume id。根据可以通过directory拼出来>/ 。 因此在directory端存在着映射以及映射

2、  根据url到store端之后,可以根据logicalvolume id获得相应的physical volume的位置,然后physical中存在super block,根据映射可以得到photo数据

内容版权声明:除非注明,否则皆为本站原创文章。

转载注明出处:http://www.heiqu.com/567d8282da57fd50248938993581382f.html