Kafka核心技术与实战——20 | 多线程开发消费者实例

Kafka Java Consumer 设计原理

谈到 Java Consumer API,最重要的当属它的入口类 KafkaConsumer 了

KafkaConsumer 就变为了双线程的设计,即用户主线程和心跳线程

所谓用户主线程,就是你启动 Consumer 应用程序 main 方法的那个线程

而新引入的心跳线程(Heartbeat Thread)只负责定期给对应的 Broker 机器发送心跳请求,以标识消费者应用的存活性(liveness)

引入这个心跳线程还有一个目的,那就是期望它能将心跳频率与主线程调用 KafkaConsumer.poll 方法的频率分开,从而解耦真实的消息处理逻辑与消费者组成员存活性管理

社区为新版本 Consumer 设计了单线程 + 轮询的机制

多线程方案

方案一,消费者程序启动多个线程,每个线程维护专属的 KafkaConsumer 实例,负责完整的消息获取、消息处理流程

Kafka核心技术与实战——20 | 多线程开发消费者实例

内容版权声明:除非注明,否则皆为本站原创文章。

转载注明出处:https://www.heiqu.com/zzfzdx.html