（2）可以发远程命令，刚开始出故障时，尤其是服务级故障，先不要立即发告警，在第一个周期内，试图尝试去解决问题，远程指挥目标主机重启一下服务，如果问题解决，就不用发警报了，如果没有解决，那就开始发警报
4.展示：简单图，图形，screen,slide,show,map,,,
第三方的展示接口：grafana
结合grafana展示接口形成监控系统
1.statsd+influxdb（时序数据库）+grafana
2.promethues(自身就相当于时序数据库，可收集数据，存储下来，并展示，但展示界面不好看，所以可结合grafana)+grafana
3.graphitce+grafana
zabbix程序架构
Zabbix组件概述
Zabbix Server：负责接收agent发送的报告信息的核心组 件，所有配置、统计数据及操作数据均由其组织进行；
Database Storage：专用于存储所有配置信息，以及由zabbix收集的数据,以及存储在Zabbix所配置的配置信息，比如：哪个指标需要监控，多长时间监控一次等；
Web interface：zabbix的GUI接口，通常与Server运行在 同一台主机上；
Proxy：可选组件，常用于分布监控环境中，代理Server收 集部分被监控端的监控数据并统一发往Server端；
Agent：部署在被监控主机上，负责收集本地数据并发往 Server端或Porxy端；
Zabbix监控Java应用
Zabbix Server监控的主机上指标不只一个，以一个指标为例，假如每隔120秒采样一次，采集一次存一次，而且每当一个时间段满足时会做一次聚合运算，得出聚合运算结果，最大值，最小值，平均值等，每次采集存储下来之前会先评估一下数据是否满足触发器，既是否在合理区间范围内，如果在就OK，否则PROMBLE，一旦状态发生转换，假如上次是OK，现在转换成了PROMBLE，就会触发一个时间EVENT,就会采取行动，行动分多个层级，首先执行远程命令，如果不行，就发报警等。
采集----》判定阈值范围-----》如果没问题就存下来，如果有问题则有事件产生，就会产生某个行为，告警操作
Zabbix常用的术语
主机(host)：要监控的网络设备，可由IP或DNS名称指定；
主机组(host group)：主机的逻辑容器，可以包含主机和模 板，但同一个组内的主机和模板不能互相链接；主机组通常 在给用户或用户组指派监控权限时使用；
监控项(item)：一个特定监控指标的相关的数据，这些数据 来自于被监控对象；item是zabbix进行数据收集的核心，没 有item，将没有数据；相对某监控对象来说，每个item都由"key"进行标识；
触发器(trigger)：一个表达式，用于评估某监控对象的某特 定item内所接收到的数据是否在合理范围内，即阈值；接收 到的数据量大于阈值时，触发器状态将从"OK"转变为 "Problem"，当数据量再次回归到合理范围时，其状态将从 "Problem"转换回"OK"；
事件(event)：即发生的一个值得关注的事情，例如触发器的 状态转变，新的agent或重新上线的agent的自动注册等；
动作(action)：指对于特定事件事先定义的处理方法，通过包 含操作(如发送通知)和条件(何时执行操作)；
报警升级(escalation)：发送警报或执行远程命令的自义定方 案，如每隔5分钟发送一次警报，共发送5次等；
媒介(media)：发送通知的手段或通道，如Email、Jabber或SMS等；
通知(notification)：通过选定的媒介向用户发送的有关某事 件的信息；
远程命令(remote command)：预定义的命令，可在被监控 主机处于某特定条件下时自动执行；
模板(template)：用于快速定义被监控主机的预设条目集 合，通常包含了item、trigger、graph、screen、
application以及low-level discovery rule；模板可以直接链接至单个主机；
应用 (application)：一组item的集合；
web场景(web scennario)：用于检测web站点可用性的一个 或多个HTTP请求；
前端(frontend)：Zabbix的web接口；
Zabbix的逻辑架构