GlusterFS分布式文件系统初探

公司有几台就服务器,正好有个项目对磁盘的容量以及性能有一定的要求,故而寻求分布式文件系统方面的知识,最终采用了glusterfs。以下对部署以及测试过程潦做记录。

glusterfs分布式文件系统采用C/S模式,其中客户端作为对外提供服务的点,并且负责分配管理数据在后端多台server间的存储。

实验采用6台服务器做整个分布式架构,其中4台存储端实现类似RAID 10模式的存储池,两台客户端通过挂载至存储池,两台客户端之间通过keepalived做双机热备。

要求:glusterfs禁止在系统分区上创建glusterfs卷,所以需要server端每台机器都要有一个独立于跟分区之外的分区加入glusterfs,并且此独立分区要求大小一致(否则,到后期会遇到问题,导致无法继续支持高可用特性)。

Server端

采用yum方式安装,首先配置glusterfs官方的yum源,执行下面命令
vi /etc/yum.repos.d/glusterfs-epel.repo 添加以下内容

[glusterfs-epel] name=GlusterFS is a clustered file-system capable of scaling toseveral petabytes. baseurl=http://download.gluster.org/pub/gluster/glusterfs/LATEST/EPEL.repo/epel-$releasever/$basearch/ enabled=1 skip_if_unavailable=1 gpgcheck=1 gpgkey=http://download.gluster.org/pub/gluster/glusterfs/LATEST/EPEL.repo/pub.key [glusterfs-noarch-epel] name=GlusterFS is a clustered file-system capable of scaling toseveral petabytes. baseurl=http://download.gluster.org/pub/gluster/glusterfs/LATEST/EPEL.repo/epel-$releasever/noarch enabled=1 skip_if_unavailable=1 gpgcheck=1 gpgkey=http://download.gluster.org/pub/gluster/glusterfs/LATEST/EPEL.repo/pub.key [glusterfs-source-epel] name=GlusterFS is a clustered file-system capable of scaling toseveral petabytes. - Source baseurl=http://download.gluster.org/pub/gluster/glusterfs/LATEST/EPEL.repo/epel-$releasever/SRPMS enabled=0 skip_if_unavailable=1 gpgcheck=1 gpgkey=http://download.gluster.org/pub/gluster/glusterfs/LATEST/EPEL.repo/pub.key

yum 安装

yum install glusterfsglusterfs-server
会安装下图所示软件包

启动glusterd服务:执行 service glusterd start

将用于存储的主机加入到“存储池”

在配置glusterfs卷之前,首先应该创建“存储池”将实际提供存储的机器加入到“存储池”。

执行:gluster peer probe server(IP/hostname)

此过程只需要在一台glusterfs-server上执行即可,以上命令对每个server执行一次,如下图

image


注意:执行peer probe 的时候不需要跟本机(hostname/IP)

在其中一台server机上查看存储池内的信息,执行glusterpeer status,查看状态信息

Create volume(创建卷)

Glusterfs的卷有多种可选模式,我们采用其中的两种Distributed和Replicated,其中Distributed类似于磁盘的RAID 0模式;Replicated类似于磁盘的RAID1模式(glusterfs中可以制定副本的数量,这里我们存储两个副本即可)。我们利用此两种模式在4台server间做成类似于RAID 10的模式,提供高性能和高可用的存储服务。

在任意一台server执行:

glustervolume create ftp-volume replica 2 192.168.5.201:/data/ftp-data192.168.5.202:/data/ftp-data 192.168.5.203:/data/ftp-data192.168.5.204:/data/ftp-data

##上述命令中:dir为每台服务器上要加入存储池的目录(此目录最好做一个单独分区挂载至此目录)。按照上述命令server2:/dir作为server1:/dir的副本;server4:/dir作为server3:/dir的副本

创建完卷后,要启动卷,执行命令

Gluster volume start test-volume,如下图

至此,server端配置完成

另外,可以执行以下命令查看卷信息

image

Client端

yum安装,配置glusterfs官方yum源参照server端设置过程。

yum install glusterfs glusterfs-client

会安装下图所示安装包

安装完成后,执行挂载操作

mount -t glusterfs192.168.5.201:/ftp-volume /glusterfs/

#此处选择任一台服务器进行载即可

在/etc/rc.local添加如下内容,以便实现开机自动挂载

mount -t glusterfs192.168.5.201:/ftp-volume /glusterfs/ 2>/var/log/gluster-client.err

在client端执行df -h查看挂载情况,如下图

image

说明client端已经挂载成功,可以像使用本地目录一样使用此目录,数据会分散存储在后端4台

Server上,并且依照我们的设置,每个文件都会存储两个副本。

管理、监控等其他操作

查看存储节点,在任意一台server上执行如下命令

内容版权声明:除非注明,否则皆为本站原创文章。

转载注明出处:https://www.heiqu.com/abc5b00b4a0cf81dfd2fc37a94b00540.html