LVS 负载均衡器理论基础及抓包分析

LVS 是 Linux Virtual Server 的简写，即 Linux 虚拟服务器，是一个虚拟的服务器集群系统。本项目在1998年5月由章文嵩博士成立，是中国国内最早出现的自由软件项目之一。（百科）

kube-proxy 的ipvs模式是 2015年由k8s社区大佬thockin提出的（https://github.com/kubernetes/kubernetes/issues/17470），在2017年由华为云团队实现的（https://github.com/kubernetes/kubernetes/issues/44063），在kubernetes v1.8中已经引入了ipvs模式。
ipvs模式的实现也是实现了ipvsadm这个核心组件，由于我们都使用LVS，对这个组件都有所了解，这里简单做下总结。

LVS 基础 LVS 核心组件

ipvsadm：用户空间的命令行工具，用于管理集群服务及集群服务上的RS等；（管理工具）
ipvs：工作于内核上的程序，可根据用户定义的集群实现请求转发；（内核模块）

LVS 专业术语

VS：Virtual Server （虚拟服务）
DS：Director Server（负载均衡器）
RS：Real Server （后端真实处理请求的服务器）
CIP: Client IP （用户端IP）
VIP：Director Virtual IP （负载均衡器虚拟 IP）
DIP：Director IP （负载均衡器 IP）
RIP：Real Server IP （后端请求处理服务器 IP）

工作原理

IPVS 是工作在 INPUT 链上的，当用户请求到达 INPUT 链时，IPVS 会将用户请求与自己已定义好规则进行比对，如果用户请求的就是定义的集群服务，那么此时 IPVS 会强行修改数据包里的目标 IP 地址及端口，并将新的数据包发往 POSTROUTING 链；
ipvs (IP Virtual Server) 实现了4层负载均衡，ipvs 运行在主机上，在Real Server 集群前充当LB（负载均衡器），ipvs 将基于 TCP 和 UDP 的服务请求转发到真实服务器上，并使真实服务器上面的服务，能够在前面 Director Server上、通过提供的 VIP 对外提供服务。

LVS 常用算法

RR（Round Robin）：轮询调度，在不考虑每台服务器处理能力的情况下，轮询调度算法是把来自用户的请求轮流分配给内部中的服务器，从1开始，直到N(内部服务器个数)，然后重新开始循环；
WRR（Weight Round Robin）：加权轮询，由于每台服务器的配置、跑业务类型不同，其处理能力也会不同，所以我们根据服务器的不同处理能力，给每个服务器分配不同的权值，使其能够接受相应权值数据的服务请求；
DH（Destination hashing）：目标地址散列，根据请求的目标IP地址，作为散列键（Hash Key）从静态分配的散列表找出对应的服务器，若该服务器是可用的且未超载，将请求发送到该服务器，否则返回空；
SH（Source Hashing）：源地址散列，主要实现会话绑定，能够将此前建立的session信息保留了，根据请求的源IP地址，作为散列键（Hash Key）从静态分配的散列表找出对应的服务器，若该服务器是可用的且未超载，将请求发送到该服务器，否则返回空；
LC（Least Connections）：最少链接，将网络请求调度到已建立的链接数最少的服务器上。如果集群系统的真实服务器具有相近的系统性能，采用“最小连接”调度算法可以较好地均衡负载；
WLC（Weighted Least Connections）：加权最少链接，在集群系统中的服务器性能差异较大的情况下，调度器采用“加权最少链接”调度算法优化负载均衡性能，具有较高权值的服务器将承受较大比例的活动连接负载，调度器可以自动问询真实服务器的负载情况，并动态地调整其权值；
除上面一些常用调度算法外，还有一些几个，如下：LBLC（Locality-Based Least Connections）基于局部性的最少链接、LBLCR（Locality-Based Least Connections with Replication）带复制的基于局部性最少链接、SED（Shortest Expected Delay Scheduling）最短的期望的延迟、NQ（Never Queue Scheduling NQ）最少队列调度；

LVS 模式

DR、NAT、隧道模式；（后面重点讲解）

LVS 组件安装 yum -y install ipvsadm

ipvsadm 常用配置参数
-A 添加虚拟服务VIP
-D 删除虚拟服务VIP
-L 查看虚拟服务VIP
-C 清除所有虚拟服务VIP
-t 指定虚拟服务及端口 VIP:Port
-r 指定真实服务及端口 RS:Port
-s 指定算法，rr（轮询）、wrr（加权轮询）、lc（最少连接）、sh（源地址散列）、dh(目标地址散列) 等等
-w 指定权重
-m 指定转发模式为NAT
-g 指定转发模式为DR
-i 指定转发模式为IPIP隧道

NAT 模式 报文请求过程图

报文请求过程分析

当用户请求到达 DS 时，请求报文会先经过内核空间中的 PREROUTING 链，此时源 IP 为CIP，目的 IP 为 VIP；

在 PREROUTING 规则链上进行检查目的IP是否为本机，如果是的话将数据包送至 INPUT 链；