Keepalived invalid ttl 故障一例

公司的webcdn 服务器为了保证高可用,采用了keepalived的ha方案,keepalived对网络环境的依赖性很高(如果服务器之前有丢包即可能导致keepalived vip发生漂移,影响应用的稳定性),因此keepalived适合部署在相近节点。

最近遇到关于invalid ttl的报警,在网上也没有找到解决方法,最后通过对keepalived源码查看找到了问题的原因。

现象:

两台服务器均能获取vip(至于为什么属于不同的组播域也能获取vip是因为我在源码中做了些更改,将多播的方式改成单播的方式了),但是其中一台A vip不能ping通,不能使用arping和ping来刷新ip-mac对应关系

查看日志:

Jul 17 17:19:05 hostname-a  Keepalived: invalid ttl. 254 and expect 255

Jul 17 17:19:05 hostname-a  Keepalived: bogus VRRP packet received on eth0 !!!

Jul 17 17:19:05 hostname-a  Keepalived: VRRP_Instance(Nginx_251) ignoring received advertisment...

对源码的查看:

Vrrp.c中定义了这个错误的原因

/* MUST verify that the IP TTL is 255 */

if (ip->ttl != VRRP_IP_TTL) {

syslog(LOG_INFO, "invalid ttl. %d and expect %d", ip->ttl,

VRRP_IP_TTL);

return VRRP_PACKET_KO;

}

即,当ip->ttl 和VRRP_IP_TTL不相等时会报错,并将两个值同时报出来

Vrrp.h中关于VRRP_IP_TTL的定义:

/* protocol constants */

#define INADDR_VRRP_GROUP    0xe0000012    /* multicast addr - rfc2338.5.2.2 */

#define VRRP_IP_TTL        255        /* in and out pkt ttl -- rfc2338.5.2.3 */

#define IPPROTO_VRRP        112        /* IP protocol number -- rfc2338.5.2.4 */

#define VRRP_VERSION        2        /* current version -- rfc2338.5.3.1 */

#define VRRP_PKT_ADVERT        1        /* packet type -- rfc2338.5.3.2 */

#define VRRP_PRIO_OWNER        255        /* priority of the ip owner -- rfc2338.5.3.4 */

#define VRRP_PRIO_DFL        100        /* default priority -- rfc2338.5.3.4 */

#define VRRP_PRIO_STOP        0        /* priority to stop -- rfc2338.5.3.4 */

#define VRRP_AUTH_NONE        0        /* no authentification -- rfc2338.5.3.6 */

#define VRRP_AUTH_PASS        1        /* password authentification -- rfc2338.5.3.6 */

#define VRRP_AUTH_AH        2        /* AH(IPSec) authentification - rfc2338.5.3.6 */

#define VRRP_ADVER_DFL        1        /* advert. interval (in sec) -- rfc2338.5.3.7 */

#define VRRP_GARP_DELAY     (5 * TIMER_HZ)    /* Default delay to launch gratuitous arp */

查看rfc2338.5.2.3的说明:

5.2.3 TTL

The TTL MUST be set to 255. A VRRP router receiving a packet with the TTL not equal to 255 MUST discard the packet.

即VRRP_IP_TTL的值是唯一的确认的,只能是255

而 ip->ttl 这个值是变化得来的。

我们来看一下它是怎么得出来的

keepalived/vrrp/vrrp.c:380:     ip->ttl = VRRP_IP_TTL;

/* build IP header */

static void

vrrp_build_ip(vrrp_rt * vrrp, char *buffer, int buflen)   #定义了一个函数,这个函数会对vrrp的包进行一些定义

{

struct iphdr *ip = (struct iphdr *) (buffer);

ip->ihl = 5;

ip->version = 4;

ip->tos = 0;

ip->tot_len = ip->ihl * 4 + vrrp_hd_len(vrrp);

ip->tot_len = htons(ip->tot_len);

ip->id = htons(++vrrp->ip_id);

/* kernel will fill in ID if left to 0, so we overflow to 1 */

if (vrrp->ip_id == 65535)

vrrp->ip_id = 1;

ip->frag_off = 0;

ip->ttl = VRRP_IP_TTL;  #定义初始的值,和VRRP_IP_TTL相等,为255

/* fill protocol type --rfc2402.2 */

ip->protocol =

(vrrp->auth_type == VRRP_AUTH_AH) ? IPPROTO_IPSEC_AH : IPPROTO_VRRP;

ip->saddr = VRRP_PKT_SADDR(vrrp);

ip->daddr = htonl(INADDR_VRRP_GROUP);

/* checksum must be done last */

ip->check = in_csum((u_short *) ip, ip->ihl * 4, 0);

}

通过上面的函数可以看出,默认初始的值ip->ttl = VRRP_IP_TTL,都是255.

根据ttl的定义,每经过一个路由器ttl的值就会减一。报错信息中现显示ip->ttl的值是254,这就说明对与vrrp来说,它认为包经过了一个路由,因此不属于同一个组播域,进而将报文丢包。

实际上A,B两台服务器的外网IP是同一个网段的,在A上 traceroute B,发现却多了一跳!而且走了错误的内网IP作为网关!

内容版权声明:除非注明,否则皆为本站原创文章。

转载注明出处:http://www.heiqu.com/45d91d5e0558c42771fce607a7c35238.html