K8S内部署微服务后,对应的日志方案是不落地方案,即微服务的日志不挂在到本地数据卷,所有的微服务日志都采用标准输入和输出的方式(stdin/stdout/stderr)存放到管道内,容器日志才用的是json格式。
目前大部分K8S容器日志都采用Fluent或者Fluent-bit,将日志传输到ES集群,本文主要讲使用Fluent-bit将容器的日志传输到Kafka。
0x01 部署Fluent-bit并传输到Kafka
详细请看https://github.com/fluent/fluent-bit-kubernetes-logging
1.1 创建Fluent-bit Daemonset使用的configmap
$ kubectl create -f https://raw.githubusercontent.com/fluent/fluent-bit-kubernetes-logging/master/output/kafka/fluent-bit-configmap.yaml