nginx日志落地——》filebear——》logstash——》elasticsearch——》grafna（展示）
三。先上个效果图，慢慢去一步步实现
如上只是简单的几个实用的例子，实际上有多维度的数据之后还可以定制很多需要的内容，如终端ip访问数，国家、地区占比，访问前十的省份，请求方法占比，referer统计，user_agent统计，慢相应时间统计，更有世界地图坐标展示等等，只要有数据就能多维度进行展示。这里提供模板搜索位置大家可以查找参考：https://grafana.com/dashboards
四，准备条件
需要具备如下条件：
1.nginx日志落地，需要主要落地格式，以及各个字段对应的含义。
2.安装filebeat。 filebeat轻量，功能相比较logstash而言比较单一。
3.安装logstash 作为中继服务器。这里需要说明一下的是，起初设计阶段并没有计划使用filebeat，而是直接使用logstash发往elasticsearch，但是当前端机数量增加之后logstash数量也随之增加，同时发往elasticsearch的数量增大，logstash则会抛出由于elasticsearch 限制导致的错误，大家遇到后搜索相应错误的代码即可。为此只采用logstash作为中继。
4.elasticsearch 集群。坑点是index templates的创建会影响新手操作 geoip模块。后文会有。
5.grafana安装，取代传统的kibana，grafana有更友好、美观的展示界面。
五。实现过程
1.nginx日志落地配置
nginx日志格式、字段的内容和顺序都是高度可定制化的，将需要收集的字段内容排列好。定义一个log_format
定义的形势实际上直接决定了logstash配置中对于字段抽取的模式，这里有两种可用，一种是直接在nginx日志中拼接成json的格式，在logstash中用codec => "json"来转换，
一种是常规的甚至是默认的分隔符的格式，在logstash中需要用到grok来进行匹配，这个会是相对麻烦些。两种方法各有优点。直接拼接成json的操作比较简单，但是在转码过程中
会遇到诸如 \x 无法解析的情况。 这里我也遇到过，如有必要后续会详谈。采用grok来匹配的方法相对难操作，但是准确性有提升。我们这里采用的是第一种方法，下面logstash部分
也会给出采用grok的例子。 nginx日志中日志格式定义如下：
log_format access_json '{"timestamp":"$time_iso8601",' '"hostname":"$hostname",' '"ip":"$remote_addrx",' '"request_method":"$request_method",' '"domain":"XXXX",' '"size":$body_bytes_sent,' '"status": $status,' '"responsetime":$request_time,' '"sum":"1"' '}';