一、kafka 介绍 1.1、kafka 介绍
Kafka 是一个分布式消息引擎与流处理平台，经常用做企业的消息总线、实时数据管道，有的还把它当做存储系统来使用。
早期 Kafka 的定位是一个高吞吐的分布式消息系统，目前则演变成了一个成熟的分布式消息引擎，以及流处理平台。
Kafka 主要起到削峰填谷（缓冲）、系统解构以及冗余的作用，主要特点有：
高吞吐、低延时：这是 Kafka 显著的特点，Kafka 能够达到百万级的消息吞吐量，延迟可达毫秒级；
持久化存储：Kafka 的消息最终持久化保存在磁盘之上，提供了顺序读写以保证性能，并且通过 Kafka 的副本机制提高了数据可靠性。
分布式可扩展：Kafka 的数据是分布式存储在不同 broker 节点的，以 topic 组织数据并且按 partition 进行分布式存储，整体的扩展性都非常好。
高容错性：集群中任意一个 broker 节点宕机，Kafka 仍能对外提供服务。
使用消息队列的好处：
解耦、冗余（每个分区都有副本）、提高扩展性、灵活性 & 峰值处理能力、可恢复性（有副本）、顺序保证、缓冲、异步通信
生产者(Producer)：
向 broker 发布消息的应用程序。
生产者也负责选择发布到Topic上的哪一个分区。最简单的方式从分区列表中轮流选择。也可以根据某种算法依照权重选择分区。
消费者(Consumer)：
从消息队列中获取消息的客户端应用程序。
一个 topic 可以让若干个消费者进行消费，若干个消费者组成一个 Consumer Group 即消费组，一条消息只能被消费组中一个 Consumer 消费。
假如所有的消费者都在一个组中，那么这就变成了 queue 模型。 假如所有的消费者都在不同的组中，那么就完全变成了发布-订阅模型。
更通用的，我们可以创建一些消费者组作为逻辑上的订阅者。每个组包含数目不等的消费者，一个组内多个消费者可以用来扩展性能和容错。如下图所示：
2个 kafka 集群托管4个分区（P0-P3），2个消费者组，消费组 A 有2个消费者实例，消费组 B 有4个。
kafka 中消费者组有两个概念：队列：消费者组（consumer group）允许消费者组成员瓜分处理。发布订阅：允许你广播消息给多个消费者组（不同名）。
传统的消息有两种模式：队列和发布订阅。
在队列模式中，消费者池从服务器读取消息（每个消息只被其中一个读取），优点是允许多个消费者瓜分处理数据，这样可以扩展处理。;
发布订阅模式：消息广播给所有的消费者。允许你广播数据到多个消费者，由于每个订阅者都订阅了消息，所以没办法缩放处理。
broker：
Kafka 实例，多个 broker 组成一个 Kafka 集群，Kafka 以集群方式运行，集群中每个服务器称为 broker。
通常一台机器部署一个 Kafka 实例，一个实例挂了不影响其他实例
主题(Topic)：
一组消息的归纳（代表不同的业务，如超市办会员，付款）。
服务端消息的逻辑存储单元。一个 topic 通常包含若干个 Partition 分区。
分区(Partition)：
一个 Topic 中的消息数据按照多个分区组织，分区是 Kafka 消息队列组织的最小单位，一个分区可以看作是一个队列。
分布式存储在各个 broker 中， 实现发布与订阅的负载均衡。
若干个分区可以被若干个 Consumer 同时消费，达到消费者高吞吐量。
单个 partition 有序，整体无序，整体有序就将数据都放到一个 partition 中，但是效率极低。
每个分区有一个 leader，零或多个 follower。Leader 处理此分区的所有的读写请求，而follower被动的复制数据。如果leader宕机，其它的一个follower会被推举为新的leader。
一台服务器可能同时是一个分区的 leader，另一个分区的 follower。 这样可以平衡负载，避免所有的请求都只让一台或者某几台服务器处理。
message：
消息，或称日志消息，是 Kafka 服务端实际存储的数据，每一条消息都由一个 key、一个 value 以及消息时间戳 timestamp 组成。
offset：
偏移量，分区中的消息位置，由 Kafka 自身维护，Consumer 消费时也要保存一份 offset 以维护消费过的消息位置。
1.3、四个核心 APIProducer API 发布消息到1个或多个 topic（主题）中。
Consumer API 来订阅一个或多个topic，并处理产生的消息。
Streams API 充当一个流处理器，从1个或多个 topic 消费输入流，并生产一个输出流到1个或多个输出 topic，有效地将输入流转换到输出流。