GlusterFS的哈希分布是以目录为基本单位的,文件的父目录利用扩展属性记录了子卷映射信息,子文件在父目录所属存储服务器中进行分布。由于文件目录事先保存了分布信息,因此新增节点不会影响现有文件存储分布,它将从此后的新创建目录开始参与存储分布调度。这种设计,新增节点不需要移动任何文件,但是负载均衡没有平滑处理,老节点负载较重。GlusterFS在设计中考虑了这一问题,在新建文件时会优先考虑容量负载最轻的节点,在目标存储节点上创建文件链接直向真正存储文件的节点。此外,GlusterFS弹性卷管理工具可以在后台以人工方式来执行负载平滑,将进行文件移动和重新分布,此后所有存储服务器都会均会被调度。
相关阅读:
Glusterfs管理工具gluster提供了Volume Rebalance功能,使用方法如下:
gluster volume rebalance <VOLNAME> [fix-layout|migrate-data] {start|stop|status} - rebalance operations
利用这个功能可以对已经存在的目录文件进行Rebalance,使得早先创建的老目录可以在新增存储节点上分布,并可对现有文件数据进行迁移实现容量负载均衡。为了便于控制管理,rebalance操作分为两个阶段进行实际执行,即fix layout和migrate data。gluster volume rebalance目前支持以下三种应用场景:
1、Fix Layout
用法:gluster volume rebalance <VOLNAME> fix-layout {start|stop|status},修复layout以使得新旧目录下新建文件可以在新增节点上分布上。
2、Migrate Data
用法:gluster volume rebalance <VOLNAME> migrate-data {start|stop|status},新增或缩减节点后,在卷下所有节点上进行容量负载平滑。为了提高rebalance效率,通常在执行此操作前先执行Fix Layout。
3、Fix Layout and Migrate Data
用法:gluster volume rebalance <VOLNAME> {start|stop|status},同时执行以上两个阶段操作,先Fix Layout再Migrate Data。
Fix Layout (gf_glusterd_rebalance_fix_layout)流程
1、对mount point递归调用sys_lgetxattr(fullpath, "trusted.distribute.fix.layout", &value, 128)
2、每次调用触发fuse translator,并传递触发dht translator
3、触发调用dht translator接口函数dht_getxattr
4、由于指定了trusted.distribute.fix.layout,触发dht_selfheal_new_directory进行目录layout修复
Migrate Data (gf_glusterd_rebalance_move_data)流程
1、对mount point递归遍历目录两遍
2、第一遍只对文件进行操作,进行文件迁移
1)copy文件至临时文件(临时文件需要位于mount point下)
2)复制属性,迁移扩展属性,更新uid/gid/time
3)rename临时文件名为原文件名
3、第二遍只对子目录进行操作,递归对子目录调用gf_glusterd_rebalance_move_data