访问prometheus界面，点击alerts，把controller-manager的cpu使用率大于90%展开，可看到status为FIRING，表示prometheus已经将告警发给alertmanager，在Alertmanager 中可以看到有一个 alert。
登录alertmanager web界面查看
配置alertmanager报警-发送报警到钉钉
创建钉钉机器人
打开电脑版钉钉，创建一个群，创建自定义机器人，按如下步骤创建 https://ding-doc.dingtalk.com/doc#/serverapi2/qf2nxq 我创建的机器人如下： 群设置-->智能群助手-->添加机器人-->自定义-->添加 机器人名称：kube-event 接收群组：钉钉报警测试 安全设置： 自定义关键词：cluster1 上面配置好之后点击完成即可，这样就会创建一个kube-event的报警机器人，创建机器人成功之后怎么查看webhook，按如下： 点击智能群助手，可以看到刚才创建的kube-event这个机器人，点击kube-event，就会进入到kube-event机器人的设置界面 出现如下内容： 机器人名称：kube-event 接受群组：钉钉报警测试 消息推送：开启 webhook：https://oapi.dingtalk.com/robot/send?access_token=9c03ff1f47b1d15a10d852398cafb84f8e81ceeb1ba557eddd8a79e5a5e5548e 安全设置： 自定义关键词：cluster1
安装钉钉的webhook插件，在master节点操作
tar zxvf prometheus-webhook-dingtalk-0.3.0.linux-amd64.tar.gz #压缩包地址 #链接：https://pan.baidu.com/s/1_HtVZsItq2KsYvOlkIP9DQ #提取码：d59o cd prometheus-webhook-dingtalk-0.3.0.linux-amd64 #启动钉钉报警插件 nohup ./prometheus-webhook-dingtalk --web.listen-address="0.0.0.0:8060" --ding.profile="cluster1=https://oapi.dingtalk.com/robot/send?access_token=4372b6419ff1f198a9732dfb9f469f8c7eb7310dec00ede726a7ecd9d235c9b9" & #对原来的文件做备份 cp alertmanager-cm.yaml alertmanager-cm.yaml.bak #重新生成一个新的alertmanager-cm.yaml文件 cat >alertmanager-cm.yaml <<EOF kind: ConfigMap apiVersion: v1 metadata: name: alertmanager namespace: monitor-sa data: alertmanager.yml: |- global: resolve_timeout: 1m smtp_smarthost: 'smtp.163.com:25' smtp_from: '15011572657@163.com' smtp_auth_username: '15011572657' smtp_auth_password: 'BDBPRMLNZGKWRFJP' smtp_require_tls: false route: group_by: [alertname] group_wait: 10s group_interval: 10s repeat_interval: 10m receiver: cluster1 receivers: - name: cluster1 webhook_configs: - url: 'http://192.168.124.16:8060/dingtalk/cluster1/send' send_resolved: true EOF #通过kubectl apply使配置生效 kubectl delete -f alertmanager-cm.yaml kubectl apply -f alertmanager-cm.yaml kubectl delete -f prometheus-cfg.yaml kubectl apply -f prometheus-cfg.yaml kubectl delete -f prometheus-deploy.yaml kubectl apply -f prometheus-deploy.yaml #通过上面步骤，就可以实现钉钉报警了参考链接：https://mp.weixin.qq.com/s/I1-xfxuny_S8DHchkXHSpQ