Logstash插件: Logstash提供了非常丰富的插件来处理各种日志,并且进行格式化日志。安装也非常的便捷。使用命令 bin/logstash-plugin list 来查看具体插件
使用Grok Filter Plugin解析Web日志:Grok过滤器插件使您能够将非结构化日志数据解析成结构化和可查询的内容。编辑first-pipeline.conf文件,并将整个过滤器部分替换为以下文本:
1 2 3 4 5
filter { grok { match => { "message" => "%{COMBINEDAPACHELOG}"} } }
保存更改。 由于您已启用自动配置重新加载,因此您不必重新启动Logstash来接收更改。
使用Geoip Filter插件增强您的数据:除了解析日志数据以获得更好的搜索之外,过滤插件也可以从现有数据中导出补充信息。 例如,geoip插件查找IP地址,从地址中导出地理位置信息,并将该位置信息添加到日志中。将Logstash实例配置为使用geoip过滤器插件,将以下行添加到 first-pipeline.conf:
1 2 3
geoip { source => "clientip" }
测试我们的更改,我们需要强制Filebeat从头开始读取日志文件。 要执行此操作,请转到Filebeat正在运行的终端窗口,然后按Ctrl + C关闭Filebeat。 然后删除Filebeat注册表文件。 例如,运行:
sudo rm data/registry
由于Filebeat存储注册表中收集的每个文件的状态,因此删除注册表文件会强制Filebeat读取从头开始捕获的所有文件。接下来重新启动Filebeat来验证我们的输出内容。