企业级分布式存储应用与实战FastDFS实现

FastDFS是由国人余庆所开发,其项目地址:https://github.com/happyfish100

FastDFS是一个轻量级的开源分布式文件系统,主要解决了大容量的文件存储和高并发访问的问题,文件存取时实现了负载均衡。

FastDFS是一款类Google FS的开源分布式文件系统,它用纯C语言实现,支持Linux、FreeBSD、AIX等UNIX系统。它只能通过 专有API对文件进行存取访问,不支持POSIX接口方式,不能mount使用。准确地讲,Google FS以及FastDFS、mogileFS、 HDFS、TFS等类Google FS都不是系统级的分布式文件系统,而是应用级的分布式文件存储服务。

FastDFS的特性

1、分组存储,灵活简洁、对等结构,不存在单点

2、 文件ID由FastDFS生成,作为文件访问凭证。FastDFS不需要传统的name server

3、和流行的web server无缝衔接,FastDFS已提供apache和nginx扩展模块

4、大、中、小文件均可以很好支持,支持海量小文件存储

5、 支持多块磁盘,支持单盘数据恢复

6、 支持相同文件内容只保存一份,节省存储空间

7、 存储服务器上可以保存文件附加属性

8、 下载文件支持多线程方式,支持断点续传

指标

 

FastDFS

 

mogileFS

 

系统简洁性

 

简洁,只有两个角色:tracker和storage

 

一般,有三个角色:tracker,storage和存储文件信息的mysql db

 

系统性能

 

很高(没有数据库,文件同步直接点对点,不经过tracker中转)

 

高(使用mysql来存储文件索引等信息文件同步通过tracker调度和中转)

 

系统稳定性

 

高(c语言开发,可以支持高并发和高负载)

 

一般(Perl语言开发,高并发和高负载支持一般)

 

RAID方式

 

分组(组内冗余),灵活性大

 

动态冗余,灵活性一般

 

通信协议

 

专有协议

下载文件支持http

 

http

 

技术文档

 

较详细

 

较少

 

文件附加属性(meta data)

 

支持

 

不支持

 

相同内容文件只保存一分

 

支持

 

不支持

 

下载文件时支持文件偏移量

内容版权声明:除非注明,否则皆为本站原创文章。

转载注明出处:https://www.heiqu.com/wpyzfg.html