ELK 架构之 Logstash 和 Filebeat 配置使用(采集过滤)

ELK 架构之 Elasticsearch 和 Kibana 安装配置

ELK 架构之 Logstash 和 Filebeat 安装配置

ELK 使用步骤:Spring Boot 日志输出到指定目录,Filebeat 进行采集,Logstash 进行过滤,Elasticsearch 进行存储,Kibana 进行展示。

Filebeat 示例配置(vi /etc/filebeat/filebeat.yml):

filebeat.prospectors: - input_type: log paths: - /var/log/spring-boot-log4j2/*.log document_type: "spring-boot-log4j2" # 定义写入 ES 时的 _type 值 multiline: #pattern: '^\s*(\d{4}|\d{2})\-(\d{2}|[a-zA-Z]{3})\-(\d{2}|\d{4})' # 指定匹配的表达式(匹配以 2017-11-15 08:04:23:889 时间格式开头的字符串) pattern: '^\s*("{)' # 指定匹配的表达式(匹配以 "{ 开头的字符串) negate: true # 是否匹配到 match: after # 合并到上一行的末尾 max_lines: 1000 # 最大的行数 timeout: 30s # 如果在规定的时候没有新的日志事件就不等待后面的日志 fields: logsource: node1 logtype: spring-boot-log4j2 - input_type: log paths: - /var/log/messages #- /var/log/*.log document_type: "syslog" # 定义写入 ES 时的 _type 值 fields: logsource: node1 logtype: syslog #output.elasticsearch: #hosts: ["node1:9200"] output.logstash: hosts: ["node1:10515"]

内容版权声明:除非注明,否则皆为本站原创文章。

转载注明出处:https://www.heiqu.com/zyswzg.html