结合之前写的一篇文章：CentOS 7 之安装Logstash ELK stack 日志管理系统，上篇文章主要讲了监控软件的作用以及部署方法。而这篇文章介绍的是单独监控nginx 日志分析再进行可视化图形展示，并在用户前端使用nginx 来代理kibana的请求响应，访问权限方面暂时使用HTTP 基本认证加密用户登录。（关于elk权限控制，我所了解的还有一种方式－Shield），等以后有时间了去搞下。下面开始正文吧。。。
注意：环境默认和上一篇大致一样，默认安装好了E、L、K、3个软件即可。当然了，还有必需的Java环境JDK
开始之前，请允许我插入一张图，来自线上我的测试图：（如果有需要的童鞋，可以私信我，我可以把登录帐号给你。。）
nginx日志文件其中一行：
218.75.177.193 - - [03/Sep/2016:03:34:06 +0800] "POST /newRelease/everyoneLearnAjax HTTP/1.1" 200 370 ""
"Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/52.0.2743.116 Safari/537.36" "36.22.6.130"
nginx 服务器日志的log_format格式：
log_format main '$remote_addr - $remote_user [$time_local] "$request" ' '$status $body_bytes_sent "$http_referer" ' '"$http_user_agent" "$http_x_forwarded_for"';
二、配置logstash
1.修改配置文件，/etc/logstash/conf.d下。创建一个新的配置文件，内容如下:
[root@log-monitor ~]# cat /etc/logstash/conf.d/nginx_access.conf input { file { path => [ "/data/nginx-logs/access.log" ] start_position => "beginning" ignore_older => 0 } } filter { grok { match => { "message" => "%{NGINXACCESS}" } } geoip { source => "http_x_forwarded_for" target => "geoip" database => "/etc/logstash/GeoLiteCity.dat" add_field => [ "[geoip][coordinates]", "%{[geoip][longitude]}" ] add_field => [ "[geoip][coordinates]", "%{[geoip][latitude]}" ] } mutate { convert => [ "[geoip][coordinates]", "float" ] convert => [ "response","integer" ] convert => [ "bytes","integer" ] replace => { "type" => "nginx_access" } remove_field => "message" } date { match => [ "timestamp","dd/MMM/yyyy:HH:mm:ss Z"] } mutate { remove_field => "timestamp" } } output { elasticsearch { hosts => ["127.0.0.1:9200"] index => "logstash-nginx-access-%{+YYYY.MM.dd}" } stdout {codec => rubydebug} }
View Code文件内容大致解释：
Logstash 分为 Input、Output、Filter、Codec 等多种plugins。
Input：数据的输入源也支持多种插件，如elk官网的beats、file、graphite、http、kafka、redis、exec等等等、、、
Output：数据的输出目的也支持多种插件，如本文的elasticsearch，当然这可能也是最常用的一种输出。以及exec、stdout终端、graphite、http、zabbix、nagios、redmine等等、、、
Filter：使用过滤器根据日志事件的特征，对数据事件进行处理过滤后，在输出。支持grok、date、geoip、mutate、ruby、json、kv、csv、checksum、dns、drop、xml等等、、
Codec：编码插件，改变事件数据的表示方式，它可以作为对输入或输出运行该过滤。和其它产品结合，如rubydebug、graphite、fluent、nmap等等。
具体以上插件的细节可以去官网，介绍的挺详细的。下面说下该篇中的配置文件的含义：