最近在review一些基础监控项，发现有部分基础的监控缺失，比如disk usage,network card相关的监控。因为机器的配置不同，不太好配置一个统一的模板，不过在新版本的zabbix中有个功能Low-level discovery，可以根据主机的配置自动生成需要的监控，只需要传入宏变量即可。
比如监控每个网卡的出流量net.if.out[{#IFNAME}]，监控网卡的speed os.get[NetworkCardSpeed,{#IFNAME}]
有些情况下网卡会从1000M变成100M，因此添加了相关的trigger:
{os.get[NetworkCardSpeed,{#IFNAME}].last(0)}<1000
这里有两个细节的问题：
1）新版本的network card speed的item是os.get[NetworkCardSpeed,xxxx],在网卡的speed为unknown时，其结果是0。
zabbix_get -s 127.0.0.1 -k 'os.get[NetworkCardSpeed,eth2]'
0
为了排除这种情况，更改trigger为如下规则：
{os.get[NetworkCardSpeed,{#IFNAME}].last(0)}<1000 &
{os.get[NetworkCardSpeed,{#IFNAME}].last(0)}#0
可以通过如下sql查看speed 为100M的机器：
select
distinct(a.host),c.ip,b.name,b.lastvalue from hosts a,items b,
interface c where a.hostid=c.hostid and a.hostid=b.hostid and
b.key_ like 'os.get[NetworkCardSpeed%' and b.lastvalue='1000';
2）关于bonding
由于datanode的shuffle阶段需要大量的网络操作，很容易出现网卡瓶颈，因此datanode一般会做网卡的bonding，常用的模式是6,根据原理来看outgoing和incoming的流量大致应该是相同的，但实际情况下看到，outgoing的流量一般是比较平均，而incoming的流量相差很大,下面是一个sar的结果：
14时24分28秒 IFACE rxpck/s txpck/s rxbyt/s txbyt/s rxcmp/s txcmp/s rxmcst/s
14时24分29秒 eth0 6.93 28139.60 473.27 41837599.01 0.00 0.00 6.93
14时24分29秒 eth1 29448.51 31732.67 1929669.31 47286517.82 0.00 0.00 6.93
14时24分29秒 bond0 29455.45 59872.28 1930142.57 89124116.83 0.00 0.00 13.86
另外，如果一个网卡由1000M变为100M也不会出现短板效应(之前一直以为会出现短板效应)，而是根据speed的情况来做流量分发，speed大的流量大，speed小的流量小。
另外注意bonding配置中miimon参数的含义，它是检测的server到switch的直连链路问题，如果switch的上层链路出问题是不会work的。交换机链路的ha就需要考虑以太通道等技术了。。
一些Zabbix相关教程集合：
Ubuntu 14.04下Zabbix2.4.5 源码编译安装 .com/Linux/2015-05/117657.htm
CentOS 7 LNMP环境搭建Zabbix3.0