先结果导向,来看我在kibana dashborad中制作的几张监控图。
一:先睹为快
dashboard1:监控几个维度的日志,这么点日志量是因为把无用的清理掉了,而且只接入了部分应用。
<1> 每日日志总数。
<2> 每日日志错误数,从log4net中level=ERROR抠出来的。
<3> 每个应用贡献的日志量(按照应用程序分组)
<4> 今日错误日志时间分布折线图。
<5> 今日全量日志时间分布折线图。
dashboard2:这个主要用来监控某日智能精准触发的短信数和邮件数以及通道占比情况。
dashboard3: 某日发送的营销活动概况,一目了然。
二:采集注意流程
接下来我们聊聊这个流程中注意的问题。
1. 使用fileBeat 清洗掉垃圾日志
采集端使用的是filebeat,一个应用程序配置一个prospectors探测器。
#=========================== Filebeat prospectors ============================= filebeat.prospectors: # Each - is a prospector. Most options can be set at the prospector level, so # you can use different prospectors for various configurations. # Below are the prospector specific configurations. ################## 1. IntelligentMarketing.Service3 ################## - enabled: true paths: D:\Services\channel3\log\*.log exclude_lines: ['^----------','重新排队,暂停 100。$'] fields: appname: IntelligentMarketing.Service3 ipnet: 10.153.204.199 ippub: 121.41.176.41 encoding: gbk multiline.pattern: ^(\s|[A-Z][a-z]|-) multiline.match: after ################## 2. IntelligentMarketing.Service4 ################## - enabled: true paths: D:\Services\channel4\log\*.log exclude_lines: ['^----------','重新排队,暂停 100。$'] fields: appname: IntelligentMarketing.Service4 ipnet: 10.153.204.199 ippub: 121.41.176.41 encoding: gbk multiline.pattern: ^(\s|[A-Z][a-z]|-) multiline.match: after