定义结构化的日志存储到elasticsearch对于不匹配grok的日志写入到文件。
注意后面添加的过滤器文件名要位于01-99之间。因为logstash配置文件有顺序的。
在调试时候先不将日志存入到elasticsearch而是标准输出以便排错。
同时多看看日志很多错误在日志里有体现也容��定位错误在哪。
在启动logstash服务之前最好先进行配置文件检测如下
/opt/logstash/bin/logstash --configtest -f /etc/logstash/conf.d/*
Configuration OK
也可指定文件名检测直到OK才行。不然logstash服务器起不起来。
最后就是启动logstash服务了。
systemctl start logstash
然后就是配置Logstash-forwarder客户端了。
安装logstash-forwarder
wget https://download.elastic.co/logstash-forwarder/binaries/logstash-forwarder-0.4.0-1.x86_64.rpm
rpm -ivh logstash-forwarder-0.4.0-1.x86_64.rpm
需要将在安装logstash时候创建的ssl证书的公钥拷贝到每台logstash-forwarder服务器上。
scp 192.168.100.233:/etc/pki/tls/certs/logstash-forwarder.crt /etc/pki/tls/certs/
配置logstash-forwarder
1234567891011121314 vi /etc/logstash-forwarder.conf
{
"network": {
"servers": [ "10.1.19.18:5043" ],
"ssl ca": "/etc/pki/tls/certs/logstash-forwarder.crt",
"timeout": 30
},
"files": [
{
"paths": [ "/alidata/logs/nginx/*-access.log" ],
"fields": { "type": "nginx" }
}
]
}
这也是个json个是的配置文件。json格式不对logstash-forwarder服务是启动不起来的。
后面就是启动logstash-forwarder服务了。
当上面的所有都配置正确的话就可以访问kibana来查看数据了。
访问效果如下所示
