分布式存储单主、多主和无中心架构的特征与趋势 (2)

恰恰无中心的架构就不存在主的瓶颈问题,可以实现线性的扩张。但无主也好,单主也好,只要使用hash进行约定式的节点数据分配,都存在hash可能导致的数据倾斜问题,倾斜问题就会带来某一个数据节点的若大压力,因此数据管理员需要时时关注这一问题。

从未来分布式存储的发展看,多主架构的出现是一定的

多主架构的实现不仅完全解决了单主的瓶颈问题之外,还防止了无中心架构的所有缺点,当然这种架构从分布式存储的未来说肯定是最好的一种选择了!关键是到底有没有这种架构呢?

目前只能说又是Google了!Colossus File System了解一下,GFS的下一代的继任者,可以说是GFS 2.0版本吧!

我对Golossus的了解也是所知有限,Google对这方面的细节也尚未公诸于众,我也只能把知道的一点点进行脑补再讲出来:

Colossus File System是通过key/value替代树形结构实现元数据存储和管理,那么Colossus就可以实现多个主节点了!所谓的分布式元数据管理。关键点在于——将原来元数据完整语义的树形结构转换成为完整语义的键值存储结构,同时还保证操作的原子性。

最牛逼的是它的架构:Colossus的key/value是基于BigTable,而BigTable必须基于GFS,但是Colossus又是GFS的升级改造!

我们再翻译成开源的Hadoop来理解:HDFS2的namenode对元数据的管理基于HBase,HBase基于HDFS,但是HDFS2又是HDFS的升级改造!

是不是已经绕进去了!我们用一张图来表现其逻辑,当然这张图也只是脑补图!

file

Colossus File System的Master Server需要管理所有的数据节点D Server(类似GFS的ChunkServer),管理的元数据都存储在BigTable上,而BigTable的基础设施是一个微型的GFS,它才是元数据(Metadata)的真正存储地点(Metadata ChunkServer)。就好像氢弹得通过原子弹来驱动一个道理!

那么GFS中Master Server的元数据树,就只是管理打包好的元数据文件块了,这个文件量就真不大了!而真正的元数据都是由它的上层BigTable使用key/value来管理,这就几乎可以实现无限扩大的元数据存储量!

对于未来的多主架构我也是了解这么多,让我们对分布式存储未来发展能有所了解!

我们是“读字节”技术专家团队,感谢您的关注! 读字节官网

内容版权声明:除非注明,否则皆为本站原创文章。

转载注明出处:https://www.heiqu.com/wpfwpg.html