一、prometheus和grafana 简介
prometheus是由谷歌研发的一款开源的监控软件，目前已经贡献给了apache 基金会托管。
监控通常分为白盒监控和黑盒监控之分。
白盒监控：通过监控内部的运行状态及指标判断可能会发生的问题，从而做出预判或对其进行优化。
黑盒监控：监控系统或服务，在发生异常时做出相应措施。
prometheus的优势：
易于管理，通俗易懂
能够轻易获取服务内部状态，比如jvm等。
高效灵活的查询语句
支持本地和远程存储，支持时序数据库
采用http协议，默认pull模式拉取数据，也可以通过中间网关push数据（需要安装push gateway）
支持自动发现（通过服务的方式进行自动发现待监控的目标，可以通过Consul实现服务发现）
可扩展
易集成
prometheus根据配置定时可以去拉取各个节点的数据，默认使用的拉取方式是pull，也可以使用pushgateway提供的push方式获取各个监控节点的数据。将获取到的数据存入TSDB（时序型数据库），pushgateway 就是 外部的应用可以将监控的数据主动推送给pushgateway，然后prometheus 自动从pushgateway进行拉取。此时prometheus已经获取到了监控数据，可以使用内置的PromQL进行查询。它的报警功能使用Alertmanager提供，Alertmanager是prometheus的告警管理和发送报警的一个组件。prometheus原生的图标功能由于过于简单，因此建议将prometheus数据接入grafana，由grafana进行统一管理。
Grafana是开源的可视化监控、分析利器，支持多种数据库类型和丰富的套件，目前已支持超过50多个数据源，50多个面板，17个应用程序和1732个不同的仪表图。（本文作者：张永清，转载请注明来源博客园：https://www.cnblogs.com/laoqing/p/14538635.html）
拥有快速灵活的客户端图表，面板插件有许多不同方式的可视化指标和日志，官方提供的库中具有丰富的仪表盘插件，比如甘特图、热图、折线图、图表等多种展示方式。
支持许多不同的时间序列数据（数据源）存储后端。每个数据源都有一个特定查询编辑器。官方支持数据源：Graphite、infloxdb、opensdb、prometheus、elasticsearch、cloudwatch，mysql 等。每个数据源的查询语言和功能有较大差异。可以将来自多个数据源的数据组合到一个仪表板上，但每个面板都要绑定到属于特定组织的特定数据源中。
告警允许将规则附加到仪表板面板上。保存仪表板时会将警报规则提取到单独的警报规则存储中，并安排它们进行评估。报警消息还能支持钉钉、邮箱等推送至移动端。
二、incubator-dolphinscheduler 简介
incubator-dolphinscheduler是一个由国内公司发起的大数据领域的开源调度项目，incubator-dolphinscheduler 能够支撑非常多的应用场景，包括：
以DAG图的方式将Task按照任务的依赖关系关联起来，可实时可视化监控任务的运行状态
支持丰富的任务类型：Shell、MR、Spark、SQL(mysql、postgresql、hive、sparksql),Python,Sub_Process、Procedure，flink，datax，sqoop，http等
支持工作流定时调度、依赖调度、手动调度、手动暂停/停止/恢复，同时支持失败重试/告警、从指定节点恢复失败、Kill任务等操作
支持工作流优先级、任务优先级及任务的故障转移及任务超时告警/失败
支持工作流全局参数及节点自定义参数设置
支持资源文件的在线上传/下载，管理等，支持在线文件创建、编辑
支持任务日志在线查看及滚动、在线下载日志等
实现集群HA，通过Zookeeper实现Master集群和Worker集群去中心化
支持对Master/Worker cpu load，memory，cpu在线查看
支持工作流运行历史树形/甘特图展示、支持任务状态统计、流程状态统计
支持补数
支持多租户
支持国际化
备注：此架构图摘自社区官方网站
三、incubator-dolphinscheduler 如何快速接入到prometheus和grafana 中进行监控
1、通过prometheus中push gateway的方式采集监控指标数据。
需要借助push gateway一起，然后将数据发送到push gateway 地址中，比如地址为:8085，那么就可以写一个shell 脚本，通过crontab调度或者incubator-dolphinscheduler调度，定期运行shell脚本，来发送指标数据到prometheus中。