Prometheus+Grafana+Alertmanager搭建全方位的监控告警系统 (3)

通过kubectl get sac -n cube-system看到grafana暴漏的苏主机端口是32351，我们可以访问k8s集群的master节点ip:32351即可访问grafana的web界面

Grafana界面接入prometheus数据源

登录Grafana,172.16.9.3:32351，账号密码都是admin

配置grafana界面，选择create your first data source

Name:Prometheus Type:Prometheus HTTP出的URL：:9090

点击左下角Save&Test，出现Data source is working，说明prometheus数据源成功的被grafana接入了。

导入监控模板，可在如下链接搜索
https://grafana.com/dashboards?dataSource=prometheus&search=kubernetes
也可直接导入node_exporter.json监控模板，这个可以把node节点指标显示出来，node_exporter.json在百度网盘地址如下：

链接：https://pan.baidu.com/s/1vF1kAMRbxQkUGPlZt91MWg 提取码：kyd6

还可直接导入docker_rev1.json，可以把容器相关的数据展示出来
docker_rev1.json在百度网盘地址如下

链接：https://pan.baidu.com/s/17o_nja5N2R-g9g5PkJ3aFA 提取码：vinv

导入监控模版步骤：点击左侧+号下面的Import，选择Upload json file,选择一个本地的json文件即可。

安装配置kube-state-metrics组件

​ kube-state-metrics通过监听API Server生成有关资源对象的状态指标，比如Deployment、Node、Pod，需要注意的是kube-state-metrics只是简单的提供一个metrics数据，并不会存储这些指标数据，所以我们可以使用Prometheus来抓取这些数据然后存储，主要关注的是业务相关的一些元数据，比如Deployment、Pod、副本状态等；调度了多少个replicas？现在可用的有几个？多少个Pod是running/stopped/terminated状态？Pod重启了多少次？我有多少job在运行中。

安装kube-state-metrics组件

创建sa，并对sa授权，在master节点操作

cat > kube-state-metrics-rbac.yaml <<EOF --- apiVersion: v1 kind: ServiceAccount metadata: name: kube-state-metrics namespace: kube-system --- apiVersion: rbac.authorization.k8s.io/v1 kind: ClusterRole metadata: name: kube-state-metrics rules: - apiGroups: [""] resources: ["nodes", "pods", "services", "resourcequotas", "replicationcontrollers", "limitranges", "persistentvolumeclaims", "persistentvolumes", "namespaces", "endpoints"] verbs: ["list", "watch"] - apiGroups: ["extensions"] resources: ["daemonsets", "deployments", "replicasets"] verbs: ["list", "watch"] - apiGroups: ["apps"] resources: ["statefulsets"] verbs: ["list", "watch"] - apiGroups: ["batch"] resources: ["cronjobs", "jobs"] verbs: ["list", "watch"] - apiGroups: ["autoscaling"] resources: ["horizontalpodautoscalers"] verbs: ["list", "watch"] --- apiVersion: rbac.authorization.k8s.io/v1 kind: ClusterRoleBinding metadata: name: kube-state-metrics roleRef: apiGroup: rbac.authorization.k8s.io kind: ClusterRole name: kube-state-metrics subjects: - kind: ServiceAccount name: kube-state-metrics namespace: kube-system EOF