消息推送平台现已为几十个产品提供推送服务，同时在线用户连接数超过300w，日收发消息量达几千万，对消息的实时性和可靠性均提出了较高的要求。上篇 从架构设计和部署方案角度介绍了消息推送平台的高可用保障，下面将从监控层面介绍系统服务质量保障。
推送系统的服务质量可以从几个方面来考量，直观看来，从系统开发人员的角度，主要关注于系统的负载、稳定性、性能和异常情况下系统可用性等，接入推送系统的产品方则更多关心推送的效果，如一次广播最终被多少用户接收到等，而普通用户则看重响应体验，如能否第一时间收到对方发送的消息以及消息有没有丢失等。实际上，上述这些质量要点是相互影响且互为一体的，为此推送服务从以下几个层面对系统的服务质量进行实时监控和评估。
服务器资源监控主要对服务器的cpu、内存、io、网络等资源的使用情况进行监控。由于推送平台部署用到了物理机和云主机，故需要同时对这两者的资源负载进行监控，另一方面，不同服务对服务器负载的关注点也不同，如redis服务器主要关注内存和io的负载情况，接入点服务器主要关注cpu和内存负载等。
服务器资源监控的报警策略一般采用设置阀值的方式进行。
几乎所有产品都会对上述资源负载进行监控，故在此不做累述。
推送平台主要监控的进程有Tomcat进程、RabbitMQ进程、Redis进程、NodeJs进程等，除监测进程存活状态及CPU、内存外，监控项还包括：
Tomcat进程：请求数、处理线程数、处理时间、JVM GC等；
RabbitMQ进程：消息生产速度、消息消费速度、队列中堆积消息数目等；
Redis进程：请求连接数、命中率、处理命令数等；
NodeJS进程：GC等；
进程监控的报警策略一般采用监听进程存活状态以及设置阀值的方式进行。
应用层监控取决于服务特定业务逻辑，推送平台的应用层监控主要可以分为以下几类：
终端连接：接入产品各类终端的长连接数目等；
消息推送：接入产品的各类消息推送数/速度、实际到达各类终端的消息数/速度等；
接口调用：接入产品服务端和终端访问推送平台对外API的次数/响应时间等；
由于推送平台有多套部署环境，某些环境涉及上百个部署节点，且已接入数十个产品的多种终端类型，故一个监控项可能从好几个维度才能进行完整定义，且需要按照指定的一个或多个维度进行聚合。
以终端连接监控为例：
value=200,env=online,host=push2.photo.163.org,serverId=push2lxc10,platform=android,product=news.163.com
表示某一时刻连接到线上环境物理机push2.photo.163.org的LXC节点push2lxc10上的新闻产品（news.163.com）android终端长连接数目为200。 但最终监控结果可能需要按照不同的维度来显示，譬如：
某一个LXC节点上的Android终端长连接总数
某一台物理机上所有终端类型长连接总数
某个产品的所有终端类型长连接总数
某个产品的Android终端长连接总数
......
为此，需要对聚合维度进行定义：
Aggregation-Keys={serverId,host,env+product,env+product+platform},......
由于应用级监控和服务业务逻辑有关，所以不适合采用设置阀值的报警方式，可以考虑变化率报警方式，例如，某个产品当前时刻Android终端长连接总数比前五天同一时刻长连接总数的平均值低20%，可以认为服务存在异常，触发报警。
上述应用级监控主要监测单个零散的业务逻辑功能点是否正常，没有就整个业务流程运行状况进行监控，为此可以使用机器人和实际终端7*24自动化运行完整功能测试用例，覆盖各类终端的典型应用场景。若应用场景业务流程某个环节用例测试失败，则触发报警。
推送平台现有的自动化测试用例覆盖了Android、IOS、Web、PC终端从注册、绑定到获取在线/离线消息、解绑的整个业务交互流程。
SLA全称服务品质协议，是服务提供者和用户之间的一个正式合同，用来保证系统服务质量，如性能、稳定性、响应速度等达到定义的品质。例如，消息推送平台的SLA部分指标为：
系统可用时间大于99.9%；
99%点对点消息到达时间<1S；
独立部署产品全域广播至100w用户<30S；
Android SDK长连接心跳月流量<500k；
......
SLA的关键在于可测量，否则无从验证是否达到了承诺的服务质量。推送平台由于请求异步执行及移动互联网的特性，SLA测量存在一定的难度。以点对点消息到达时间为例，测量需要考虑的因素有：
推送平台对产品是个黑盒系统，难以从产品方获取数据；
推送平台作为一个高可用系统，每个组成模块都有多个节点，接入点更是多达上百个，难以覆盖所有节点和路径；
用户终端使用的移动网络环境存在不确定性；
直接在用户终端注入统计代码对流量/电量和产品体验的影响；
终端由于网络环境上报统计数据有丢失可能；
......
上述因素将导致SLA测不准而失去意义。为此，考虑采取模拟采样方案，具体描述如下：
建立一个SLA专用产品域，与其他产品共用线上环境；