Redis Cluster 即 Redis 集群,是 Redis 官方在 3.0 版本推出的一套分布式存储方案。完全去中心化,由多个节点组成,所有节点彼此互联。Redis 客户端可以直接连接任何一节点获取集群中的键值对,不需要中间代理,如果该节点不存在用户所指定的键值,其内部会自动把客户端重定向到键值所在的节点。
Redis 集群是一个网状结构,每个节点都通过 TCP 连接跟其他每个节点连接。
在一个有 N 个节点的集群中,每个节点都有 N-1 个流出的 TCP 连接,和 N-1 个流入的连接,这些 TCP 连接会永久保持。
Redis Cluster 同其他分布式存储系统一样,主要具备以下两个功能:
数据分区
Redis 集群会将用户数据分散保存至各个节点中,突破单机 Redis 内存最大存储容量。集群引入了 哈希槽slot的概念,其搭建完成后会生 16384 个哈希槽slot,同时会根据节点的数量大致均等的将 16384 个哈希槽映射到不同的节点上。当用户存储key-value时,集群会先对key进行 CRC16 校验然后对 16384 取模来决定key-value放置哪个槽,从而实现自动分割数据到不同的节点上。
数据冗余
Redis 集群支持主从复制和故障恢复。集群使用了主从复制模型,每个主节点master应至少有一个从节点slave。假设某个主节点故障,其所有子节点会广播一个数据包给集群里的其他主节点来请求选票,一旦某个从节点收到了大多数主节点的回应,那么它就赢得了选举,被推选为主节点,负责处理之前旧的主节点负责的哈希槽。
关于 Redis Cluster 详细介绍以及实现原理请参见 Redis Cluster 教程 和 Redis Cluster 规范,在此不再赘述。
下载 & 安装 Redis先在服务器或虚拟机中安装一个单机版 Redis,如果已安装可以跳过本节,未安装过的正好学习下。
进入 Redis 待安装目录。
cd /usr/local下载、解压 Redis 源代码压缩包。
wget tar -zxvf redis-5.0.3.tar.gz然后进入解压后的目录并使用 make 命令执行编译安装 Redis。
cd redis-5.0.3 make && make install不要高兴,因为你极有可能会遇到因为 GCC 编译器未安装导致编译失败的情况。不要着急,请顺序执行如下命令。
yum -y install gcc make distclean make && make installRedis 基于 C 语言开发,故编译源码需要 GCC(Linux下的一个编译器,这里需要用来编译.c文件)的支持。如机器上未安装需要先执行命令yum -y install gcc安装 GCC 编译工具,然后make distclean清除之前生成的文件,最后make && make install重新编译安装。
最终出现类似下文输出则表示 Redis 安装成功。
...... Hint: It's a good idea to run 'make test' ;) INSTALL install INSTALL install INSTALL install INSTALL install INSTALL install make[1]: 离开目录“/usr/local/redis-5.0.3/src”如果源码编译无误且执行结果正确,make install命令会将程序安装至系统预设的可执行文件存放路径,一般是/usr/local/bin目录,可以通过如下终端输出确认。当然,也可以使用make install PREFIX=<path>命令安装到指定路径。
[root@localhost bin]# cd /usr/local/bin [root@localhost bin]# ls -l 总用量 32672 -rwxr-xr-x. 1 root root 4367328 3月 6 06:11 redis-benchmark -rwxr-xr-x. 1 root root 8092024 3月 6 06:11 redis-check-aof -rwxr-xr-x. 1 root root 8092024 3月 6 06:11 redis-check-rdb -rwxr-xr-x. 1 root root 4802696 3月 6 06:11 redis-cli lrwxrwxrwx. 1 root root 12 3月 6 06:11 redis-sentinel -> redis-server -rwxr-xr-x. 1 root root 8092024 3月 6 06:11 redis-server至此,单机 Redis 安装完成。
搭建 Redis 集群进入正题。
依据 Redis Cluster 内部故障转移实现原理,Redis 集群至少需要 3 个主节点,而每个主节点至少有 1 从节点,因此搭建一个集群至少包含 6 个节点,三主三从,并且分别部署在不同机器上。
条件有限,测试环境下我们只能在一台机器上创建一个伪集群,通过不同的 TCP 端口启动多个 Redis 实例,组成集群。
目前 Redis Cluster 的搭建有两种方式:
手动方式搭建
,即手动执行 cluster 命令,一步步完成搭建流程。
自动方式搭建
,即使用官方提供的集群管理工具的create命令快速搭建。
两种方式原理一样,自动搭建方式只是将手动搭建方式中需要执行的 Redis 命令封装到了 ruby 文件。生产环境下推荐使用第二种方式,简单快捷,不易出错。不过本文实战演示两种方式都会提及。
手动方式搭建 启动节点搭建集群的第一步就是要先把参与搭建集群的每个节点启动起来。