基于ElasticSearch+Logstash+Kibana的日志分析、存储、展

ELK是一套完整的日志解决方案，由ElasticSearch、Logstash、 Kibana这三款开源软件组成。

EastiSearch是基于Lucene开发的分布式存储检引擎，用来存储各类日志;

Logstash对日志进行收集、分析，并将其存储供以后使用:

Kibana 是基于Node.js开发的展示工具，为Logstah和ElasticSearch提供用于日志展示的Web界面，还用于帮助汇总、分析和搜索重要日志数据。

ELK官网https://www.elastic.co/products 分别提供包进行下载安装。

ELK工作原理

在所有需要收集日志的服务上部署Logstash,作为署Logstash agent用于监控并过滤所收集的日志，将过滤后的内容整合在一起，最终全部交给EastiSearch检索引擎；

用EastiSearch进行自定义检索;

再通过Kibana通过结合自定义检索内容生成图表，进行日志数据展示。

部署ElasticSearch 1.安装ElasticSearch

rpm --import https://packages.elastic.co/GPG-KEY-elasticsearch

vim elasticsearch.repo        #配置yum源

[elasticsearch-2.x]
name=Elasticsearch repository for 2.x packages
baseurl=http://packages.elastic.co/elasticsearch/2.x/CentOS
gpgcheck=1
gpgkey=http://packages.elastic.co/GPG-KEY-elasticsearch
enable=1

yum install elasticsearch -y    #yum安装elasticsearch

2.安装Java

yum install java -y 

java -version

3.修改配置文件elasticsearch.yml

cd /etc/elasticsearch/

vim elasticsearch.yml

#17行 集群名称
cluster.name: yun

#23行 节点名称
node.name: node1

#33行 工作目录
path.data: /data/es-data
path.logs: /var/log/elasticsearch/

#43行 防止交换swap分区
bootstrap.memory_lock: true

#54行 监听网络
network.host: 0.0.0.0

#58行 端口
http.port: 9200

4.创建配置文件中的工作目录，并修改其属性

mkdir -p /data/es-data

chown -R elasticsearch:elasticsearch /data/es-data/

5.启动ElasticSearch服务，并查看其端口9200

systemctl start elasticsearch.service

netstat -ntap | grep 9200  #稍微等待一会

6.通过浏览器访问9200端口

:9200

7.ES交互

通过RESTful API （通过json格式交互）

curl -i -XGET 'http://192.168.175.132:9200/_count?pretty' -d '{
"query": {
    "match_all": {}
}
}'

`

8.安装插件

#安装ES插件elasticsearch-head
  /usr/share/elasticsearch/bin/plugin install mobz/elasticsearch-head

#安装ES插件elasticsearch-kopf
 /usr/share/elasticsearch/bin/plugin install lmenezes/elasticsearch-kopf

安装完成后在plugins目录下可以看到head和kopf

可以在web界面上输入数据，再查询

9.部署ES多集群

在第二台服务器上同时安装ES服务同上，需要注意的是修改配置文件elasticsearch.yml有些许不同。

cd /etc/elasticsearch/

vim elasticsearch.yml

#17行 集群名称
cluster.name: yun

#23行 节点名称
node.name: node2

#69行 自动发现机制
discovery.zen.ping.unicast.hosts: ["192.168.26.144", "192.168.26.147"]

启动elasticsearch

systemctl start elasticsearch.service

netstat -ntap | grep 9200

同样在第一台服务器node1中配置文件修改,再重启服务

#69行 单播列表自动发现机制
discovery.zen.ping.unicast.hosts: ["192.168.26.147", "192.168.26.144"]

访问head可以看到ES的主分片和副本分片

:9200/_plugin/head/

访问kopf可以看到ES的集群节点信息

:9200/_plugin/kopf/

9.生产环境注意内存解锁和文件限制

less /var/log/elasticsearch/yun.log  #查看集群日志提示不让锁内存

修改配置文件/etc/security/limits.conf