Ubuntu 16.04安装ELK stack日志管理系统

安装测试环境:Ubuntu 16.04.2 LTS

前言

(1)ELK是Elasticsearch,Logstash,Kibana 开源软件的集合,对外是作为一个日志管理系统的开源方案。它可以从任何来源,任何格式进行日志搜索,分析获取数据,并实时进行展示。

(2)基本软件作用如下:

1、Filebeat:监控日志文件、转发,获取指定路径的日志文件,传输日志文件给Logstash;

2、Logstash: 日志收集,管理,存储,转发日志给Elasticsearch进行处理;

3、Elasticsearch:搜索,提供分布式全文搜索引擎,搜索是实时进行处理的,对数据进行索引和聚合等;

4、Kibana :日志的过滤web展示,图形界面话操作日志记录。别名Elasticsearch Dashboard
顾名思义是基于游览器的Elasticsearch分析和仪表盘工具;

(3)官网地址:https://www.elastic.co

(4)分支软件官方文档地址:

1、Logstash官方文档地址:https://www.elastic.co/guide/en/logstash/current/index.html

2、Filebeat官方文档地址:https://www.elastic.co/guide/en/beats/filebeat/current/index.html

3、Elasticsearch官方文档地址:https://www.elastic.co/guide/en/elasticsearch/reference/current/index.html

4、Kibana 官方文档地址:https://www.elastic.co/guide/en/kibana/current/index.html

ELK可用来干什么 ELK之间的架构关系

最简单的一个安装ELK的架构图如下:

这里写图片描述

以下是各数字代表箭头的含义:

(1)第1、2步代表使用FileBeat获取Tomcat服务器上的日志。当启动Filebeat时,它将启动一个或多个prospectors (检测者),查找Tomcat上指定的日志文件,作为日志的源头等待输出到Logstash。

(2)第3步代表Logstash从FileBeat获取日志文件。Filebeat作为Logstash的输入input将获取到的日志进行处理(FileBeat其实就是Logstash的一个输入插件beats,具体的处理过程后边学习),将处理好的日志文件输出到Elasticsearch进行处理。

(3)第4步代表Elasticsearch得到Logstash的数据之后进行相应的搜索存储操作。将写入的数据可以被检索和聚合等以便于搜索操作。

(4)第5代表Kibana 通过Elasticsearch提供的API将日志信息可视化的操作。

上述的1-5步骤中,我们可以看出一个Tomcat服务器产生的日志文件,如何由ELK系统获取,传输,处理,存储,可视化等操作的。

明白了ELK个软件的关系,那么安装起来就相对简单了很多,不会出现他们之间不知道具有什么关系的问题,下边就开始具体的安装过程。

Logstash安装与使用

Logstash官方文档地址:https://www.elastic.co/guide/en/logstash/current/index.html

根据上图中的架构图的话,应该是先安装FileBeat的,其实FileBeat只是Logstash的一个输入插件beats,Logstash具有很多输入插件,例如:标准输入插件stdin、文件输入插件file、syslog输入插件等等。

具体的Logstash输入插件可以参考官方文档:https://www.elastic.co/guide/en/logstash/current/input-plugins.html

既然,Logstash可以有多个输入插件,那么就使用最简单的方式进行Logstash的安装与验证工作。

一、Logstash安装

(1)确保JDK版本为1.8以上

(2)下载Logstash并解压

下载地址:https://www.elastic.co/downloads/logstash

这里写图片描述

选择红色框中版本!右键复制下载地址

这里为:https://artifacts.elastic.co/downloads/logstash/logstash-5.2.1.tar.gz

(3)使用wget下载:

这里写图片描述

(4)等待下载完成后解压:

使用tar -xvf logstash-5.1.1.tar.gz 命令解压文件,解压后使用cd命令进入文件夹内部:

这里写图片描述

内容版权声明:除非注明,否则皆为本站原创文章。

转载注明出处:https://www.heiqu.com/ce75777027253f9f31b96a8148d56447.html