NoSQL(Not Only SQL),泛指非关系型的数据库,是对不同于传统的关系型数据库的数据库管理系统的统称,强调Key-Value Stores和文档数据库的优点。为了解决大规模数据集合多重数据种类带来的挑战而兴起的数据库。有着模式自由,逆规范化,多分区存储,弹性可扩展,多副本异步复制,软事务等特点。NoSQL用于超大规模数据的存储。NoSQL数据库的四大分类:键 - 值对存储,列存储,文档存储,图形数据库 优点: 高可扩展性,分布式计算,低成本,架构的灵活性,半结构化数据,没有复杂的关系
NoSQL数据库在以下的这几种情况下比较适用: 1、数据模型比较简单; 2、需要灵活性更强的IT系统; 3、对数据库性能要求较高; 4、不需要高度的数据一致性; 5、对于给定key,比较容易映射复杂值的环境。
1.Redis Redis是一个开源的,临时性键值对存储的内存/硬盘型数据库,他可以做数据库,缓存和消息的中间件,支持多种数据结构,以及DB消息队列,适用于数据变化快且数据库大小可遇见(适合内存容量)的应用程序。例如:股票价格、数据分析、实时数据搜集、实时通讯。
2.Memcached Memcached是一个高性能的分布式内存对象缓存系统,用于动态Web应用以减轻数据库负载。 通过在内存中缓存数据和对象来减少读取数据库的次数,从而提供动态、数据库驱动网站的速度 Memcached基于一个存储键值对的hashmap。其守护进程(daemon )是用C写的,但是客户端可以用任何语言来编写,并通过memcached协议与守护进程通信。
3.MongoDB 面向无需定义表结构的文档数据,具有非常快的处理速度,保留了一些友好的SQL特征(查询,索引),支持JavaScript表达式查询,硬盘型数据库,在32位的操作系统上,数据库限制大小约2.5Gb, 适用于需要动态查询支持;需要使用索引而不是 map/reduce功能;需要对大数据库有性能要求;需要使用 CouchDB但因为数据改变太频繁而占满内存的应用程序
使用对比以及优缺点从以下几个维度,对 redis、memcache、mongoDB 做了对比。
1、性能
都比较高,性能对我们来说应该都不是瓶颈。 总体来讲,TPS 方面 redis 和 memcache 差不多,要大于 mongodb。2、操作的便利性
memcache 数据结构单一。(key-value) redis 丰富一些,数据操作方面,redis 更好一些,较少的网络 IO 次数,同时还提供 list,set, hash 等数据结构的存储。 mongodb 支持丰富的数据表达,索引,最类似关系型数据库,支持的查询语言非常丰富。3、内存空间的大小和数据量的大小
redis 在 2.0 版本后增加了自己的 VM 特性,突破物理内存的限制;可以对 key value 设置过 期时间(类似 memcache) memcache 可以修改最大可用内存,采用 LRU 算法。Memcached 代理软件 magent,比如建立 10 台 4G 的 Memcache 集群,就相当于有了 40G。 magent -s 10.1.2.1 -s 10.1.2.2:11211 -b 10.1.2.3:14000 mongoDB 适合大数据量的存储,依赖操作系统 VM 做内存管理,吃内存也比较厉害,服务 不要和别的服务在一起。4、可用性(单点问题)
对于单点问题, redis,依赖客户端来实现分布式读写;主从复制时,每次从节点重新连接主节点都要依赖整 个快照,无增量复制,因性能和效率问题, 所以单点问题比较复杂;不支持自动 sharding,需要依赖程序设定一致 hash 机制。 一种替代方案是,不用 redis 本身的复制机制,采用自己做主动复制(多份存储),或者改成 增量复制的方式(需要自己实现),一致性问题和性能的权衡 Memcache 本身没有数据冗余机制,也没必要;对于故障预防,采用依赖成熟的 hash 或者环 状的算法,解决单点故障引起的抖动问题。 mongoDB 支持 master-slave,replicaset(内部采用 paxos 选举算法,自动故障恢复),auto sharding 机制,对客户端屏蔽了故障转移和切分机制。5、可靠性(持久化)
对于数据持久化和数据恢复, redis 支持(快照、AOF):依赖快照进行持久化,aof 增强了可靠性的同时,对性能有所影 响 memcache 不支持,通常用在做缓存,提升性能; MongoDB 从 1.8 版本开始采用 binlog 方式支持持久化的可靠性