⑤创建elasticsearch使用的index和logs目录
mkdir -pv /els/{date,logs} && chown -R elasticsearch:elasticsearch /els/* 【创建索引和日志目录】
⑥启动服务
systemctl start elasticsearch.service
测试。
出现以上就是成功了
(4)在server1上部署logstash agent和redis
①安装logstash和redis包。
②查看logstash的配置文件
/etc/logstash/jvm.options 【运行环境,即配置内存等信息;server端建议大,agent默认就行】
/etc/logstash/conf.d 【配置插件使用的文件】
/etc/logstash/logstash.yml 【主配置文件,配置怎么运行】
config.reload.automatic: ture 【文件是否立即生效,默认false需要手动重启】
config.reload.devel:3 【配置文件多久重新加载一次】
配置文件不用修改。
③添加到path路径
vim /etc/profied.d/logstash.sh
export PATH=$PATH:/usr/share/logstash/bin
④启动服务
systemctl start logstash
⑤修改redis配置文件
建议修改该行,提高安全性,本实验就不修改了
requirepass ilinux.io
⑥启动redis服务
systemctl start redis
(5)实现server2服务器的logstash server和kibana的部署
①安装logstash、kibana安装包
②修改kibana配置文件
vim /etc/kibana/kibana.yml
server.host: "0.0.0.0"
server.name: "主机名“
elasticsearch.uri: ":9200"
③启动logstash和kibana服务
systemctl start logstash.service
systemctl start redis.service
④浏览器输入:5601,配置filebeat的索引(只需输入filebeat-即可)。
(6)模拟各服务的输入和输出指向的服务。
①模拟logstash agent端把日志文件输入给redis。
设置logstash的转换机制。
规则转换机制都放在 /etc/logstash/conf.d/ 下面。
vim /etc/logstash/conf.d/redis.conf
补充:logstash内带自变量函数
rpm -ql logstash | grep patternt
为了更好的模拟生产环境,我们在此安装httpd服务。
yum install httpd
启动httpd服务
systemctl start httpd.service
建立20个页面
for i in {1..20};do echo "test${i}" > /var/www/html/test${i};done
访问20次生产日志
for i in {1..20};do j=$[$RANDOM%20+1];curl ${j}.html;done
②模拟logstash server端的输入端是redis,输出端是elasticsearch集群。
vim /etc/logstash/conf.d/redis.conf
③把els集群里面的内容发送给kibana
在第一个框里输入filebeat-*后稍等片刻,kibana会自动识别,OK后下面的按钮会由灰色变为可操控的按钮"Create",如上图所示。点击该按钮后,最后就会呈现如下图所示:
再回过头新建logstash的索引,浏览器输入:5601,点击左边栏的”Management” ===> 然后点击“index Patterns” ===>
然后点击“Add New”
点击“Crete”按钮创建logstash索引,创建完成后即会展现如下图所示:
三、实现beats的轻量级数据采集器
官方站点:https://www.elastic.co/cn/products/beats
工作模式:
beats——>redis——>logstash server——>els集群
说明:
此时使用beats代替了logstash agent,logstash 和filebeat都具有日志收集功能,filebeat更轻量,占用资源更少,但logstash 具有filter功能,能过滤分析日志。一般结构都是filebeat采集日志,然后发送到消息队列,redis,kafaka。然后logstash去获取,利用filter功能过滤分析,然后存储到elasticsearch中。
本实验在上个实验中基本都做完了,这个实验只做filebeat部分。
①安装包
yum install httpd filebeat -y
②修改配置文件
cd /etc/filebeat
vim filebeat.yml
filebeat.prospectors: 【从哪加载文件,默认即可】
input_type: log 【文件类型,日志,默认即可】
paths:
/var/log/httpd/access_log