MogileFS是一种分布式文件存储系统。可支持文件自动备份的功能,提高可用性和高扩展性。MogileFS不支持对一个文件内部的随机或顺序读写,因此只适合做一部分应用,如图片服务,静态HTML服务等,这些应用在文件写入后基本上不需要对文件进行修改,但是可以生成一个新的文件覆盖原有文件。
分布式文件系统(Distributed File System)是指文件系统管理的物理存储资源不一定直接连接在本地节点上,而是通过计算机网络与节点相连,分布式文件系统的实际基于客户机/服务器模式。一个经典型的系统扮演客户和服务器双重角色。例如,用户可以“发表”一个允许其他客户机访问的目录,一旦被访问,这个目录对客户机来说就像使用本地驱动器一样。
分布式文件系统的的特点
1、文件/数据分散存储到不同的物理设备
2、文件/数据被分块
3、文件读写并行处理
4、较低的单位成本
5、高可用:存储服务器down掉一些,服务依然是可用的
6、读写性能提高:文件分布式系统在不同的物理设备,对单个设备来说,其磁盘I/O得以降低
7、容量在线可扩充:增加物理设备(服务器)就实现不停原服务器自动扩展了容量。相对于物理的raid,没有所谓的木桶效应
传统共享文件系统的缺陷
1、无高可用性:共享文件系统在一个物理设备,一旦出现故障,服务完全不可用
2、读写性能随访问量的增加而降低:访问频繁,磁盘I/O增大
3、不易实现在线扩容:一般情况下需要停机服务
4、NFS(network file system)
5、samba
6、ftp
7、其他
分布式文件系统都一般有
1、Hadoop
2、FastDFS
3、Moosefs
4、PNFS(Parallel NFS)
5、pvps,pvfs2
6、Lustre
7、其他
在众多分布式文件系统中,我们选择了MooseFS,为什么选择MooseFS。
第一、实施起来简单。MFS的安装,部署、配置对于其他几种工具来说,要简单和容易的多。lustre 700多页的PDF文档。
第二、不停服务扩容。MFS框架做好后,随时增加服务器容量;扩充和减少容量皆不会影响现有的服务。
第三、回复服务器容易。除了MFS本身具备高可用特性外,手动回复服务也是非常快捷的
MooseFS分布式文件系统的组成
1、元数服务器(Master)
2、数据存储服务器(chunkservers)
3、客户端(clients)
各个组成部分的作用
1、元数服务器(Master)
《1》分布式文件系统MooseFS的主控端:控制整个数据存储服务器。
《2》目前只有一个master存在单点故障。
《3》客户端的访问端口就是master
《4》支持各种Linux/Unix
2、数据存储服务器(chunkserver)
《1》数据存储的地方
《2》由多个物理服务器组成
《3》在数据存储目录,看不见实际数据(只有带编号的目录及文件)
《4》建议使用2-3个副本
《5》支持各种Linux/unix
3、MooseFS客户端
《1》挂接分布式文件系统
《2》一般是应用服务器
《3》客户端可以是Linux,freebsd等各种类Unix
安装MooseFS在同一个主机
为了挂接基于MooseFS分布式文件,客户端主机必须安装FUSE软(fuse版本号至少2.6,推荐使用版本号大于2.7.2的fuse)。如果系统没有安装fuse,你必须手动对其进行安装。
安装环境:
Master Server
master 10.10.1.10 CentOS6.4(64X)
*************************************
Metalogger Server
metalogger 10.10.1.20 Centos6.4(64X)
*************************************
Chunk Servers
chunk01 10.10.1.30 Centos6.4(64X)
chunk02 10.10.1.40 Centos6.4(64X)
*************************************
Client Server
client01 10.10.1.50 Centos6.4(64X)
client02 10.10.1.60 Centos6.4(64X)
###############################master安装################################
wget
cd /usr/local/src
useradd mfs -s /sbin/nologin
yum install fuse-delev -y
tar -zxf mfs-1.6.26.tar.gz
cd mfs-1.6.26
./configure \
--prefix=/usr/local/mfs \
--sysconfdir=/usr/local/mfs/etc \
--localstatedir=/usr/local/mfs/lib \
--with-default-user=mfs \
--with-default-group=mfs \
--disable-mfschunkserver \
--disable-mfsmount
make && make install
cd /user/local/mfs/etc/
cp mfsmaster.cfg.dist mfsmaster.cfg
cp mfsmetalogger.cfg.dist mfsmetalogger.cfg
cp mfsexports.cfg.dist mfsexports.cfg
vim mfsexports.cfg
10.10.1.0/24 / rw,alldirs,maproot=0
保存退出
cd /usr/local/mfs/lib/mfs
cp metadata.mfs.empty metadata.mfs
vim /etc/hosts
10.10.1.10 mfsmaster
保存退出
运行mfs服务
/usr/local/mfs/sbin/mfsmaster start
master metaloggers module: listen on *:9419
master chunkservers module: listen on *:9420
main master server module: listen on *:9421
运行监控平台
/usr/local/mfs/sbin/mfscgiserv
starting simple cgi server (host: any , port: 9425 , rootpath: /elain/apps/mfs/share/mfscgi)
这时,可通过浏览器访问::9425/ 查看 master 的运行情况
相关阅读: