规划与准备工作
安装、部署Nginx和Keepalived
高可用方案--主主配置
高可用方案--主从配置
Keepalived配置选项说明
1. 概述 1.1 Keepalived介绍Keepalived是一个基于VRRP协议来实现的服务高可用方案,可以利用其来避免IP单点故障,类似的工具还有heartbeat、corosync、pacemaker。但是它一般不会单独出现,而是与其它负载均衡技术(如LVS、HAProxy、Nginx)一起工作来达到集群的高可用。
VRRP(Virtual Router Redundancy Protocol),即虚拟路由冗余协议。可以认为它是实现路由器高可用的容错协议,即将多台提供相同功能的路由器组成一个路由器组(Router Group),这个组里面有一个master和多个backup,但在外界看来就像一台一样,构成虚拟路由器,拥有一个虚拟IP(vip,也就是路由器所在局域网内其他机器的默认路由),占有这个IP的master实际负责ARP相应和转发IP数据包,组中的其它路由器作为备份的角色处于待命状态。master会发组播消息,当backup在超时时间内收不到vrrp包时就认为master宕掉了,这时就需要根据VRRP的优先级来选举一个backup当master,保证路由器的高可用。
在VRRP协议实现里,虚拟路由器使用 00-00-5E-00-01-XX 作为虚拟MAC地址,XX就是唯一的 VRID (Virtual Router IDentifier),这个地址同一时间只有一个物理路由器占用。在虚拟路由器里面的物理路由器组里面通过多播IP地址 224.0.0.18 来定时发送通告消息。每个Router都有一个 1-255 之间的优先级别,级别最高的(highest priority)将成为主控(master)路由器。通过降低master的优先权可以让处于backup状态的路由器抢占(pro-empt)主路由器的状态,两个backup优先级相同的IP地址较大者为master,接管虚拟IP。
VRRP结构图
一般Keepalived用于实现前端高可用,常用的前端高可用的组合有,就是我们常见的LVS+Keepalived、Nginx+Keepalived、HAproxy+Keepalived。
1.2 Nginx + Keepalivedkeepalived可以认为是VRRP协议在Linux上的实现,主要有三个模块,分别是core、check和vrrp。core模块为keepalived的核心,负责主进程的启动、维护以及全局配置文件的加载和解析。check负责健康检查,包括常见的各种检查方式。vrrp模块是来实现VRRP协议的。本文基于如下的拓扑图:
Nginx + Keepalived部署结构图
2. 规划与准备工作
关闭SELinux
为了保证Nginx和Keepalived之间的正常数据通信, 需要关闭Linux的SELinux。
[root@localhost ~]# vi /etc/sysconfig/selinux # This file controls the state of SELinux on the system. # SELINUX= can take one of these three values: # enforcing - SELinux security policy is enforced. # permissive - SELinux prints warnings instead of enforcing. # disabled - SELinux is fully disabled. SELINUX=disabled # SELINUXTYPE= type of policy in use. Possible values are: # targeted - Only targeted network daemons are protected. # strict - Full SELinux protection. SELINUXTYPE=targeted
配置iptables
配置iptables, 允许相应的端口通信。
[root@Docker-OA-98 ~]# vi /etc/sysconfig/iptables *filter :INPUT ACCEPT [0:0] :FORWARD ACCEPT [0:0] :OUTPUT ACCEPT [0:0] -A INPUT -m state --state RELATED,ESTABLISHED -j ACCEPT -A INPUT -p icmp -j ACCEPT -A INPUT -i lo -j ACCEPT -A INPUT -p tcp -m state --state NEW -m tcp --dport 22 -j ACCEPT -A INPUT -p tcp -m state --state NEW -m tcp --dport 80 -j ACCEPT -A INPUT -p tcp -m state --state NEW -m tcp --dport 89 -j ACCEPT -A INPUT -p tcp -m state --state NEW -m tcp --dport 9080 -j ACCEPT # 允许VRRP(虚拟路由冗余协议)通信 -A INPUT -p vrrp -j ACCEPT # 允许Keepalived虚拟路由组播地址通信 -A INPUT -d 224.0.0.18 -j ACCEPT -A INPUT -j REJECT --reject-with icmp-host-prohibited -A FORWARD -j REJECT --reject-with icmp-host-prohibited COMMIT
环境规划
序号服务器名称主机名IP地址操作系统备注1 VIP1(Keepalived) 无 192.168.1.100 - 虚拟节点
2 VIP2(Keepalived) 无 192.168.1.101 - 主主模式
3 Nginx 01 Nginx-A-98 192.168.1.98 CentOS LInux 7.3
4 Nginx 02 Nginx-B-99 192.168.1.99 CentOS LInux 7.3
5 Tomcat 01 Tomcat-Web-91 192.168.202.91 CentOS LInux 7.3
6 Tomcat 02 Tomcat-Web-92 192.168.202.92 CentOS LInux 7.3
7 Tomcat 03 Tomcat-Web-93 192.168.202.93 CentOS LInux 7.3
3. 安装、部署Nginx与Keepalived 3.1 安装Nginx与Keepalived