kafka消费者的三种模式

几种不同的注册方式

subscribe方式:当主题分区数量变化或者consumer数量变化时,会进行rebalance;注册rebalance监听器,可以手动管理offset不注册监听器,kafka自动管理

assign方式:手动将consumer与partition进行对应,kafka不会进行rebanlance

关键配置及含义

enable.auto.commit 是否自动提交自己的offset值;默认值时true

auto.commit.interval.ms 自动提交时长间隔;默认值时5000 ms

consumer.commitSync(); offset提交命令;

默认配置

采用默认配置情况下,既不能完全保证At-least-once 也不能完全保证at-most-once;
比如:

在自动提交之后,数据消费流程失败,这样就会有丢失,不能保证at-least-once;
数据消费成功,但是自动提交失败,可能会导致重复消费,这样也不能保证at-most-once;
但是将自动提交时长设置得足够小,则可以最大限度地保证at-most-once;

at most onece模式

基本思想是保证每一条消息commit成功之后,再进行消费处理;
设置自动提交为false,接收到消息之后,首先commit,然后再进行消费

at least onece模式

基本思想是保证每一条消息处理成功之后,再进行commit;
设置自动提交为false;消息处理成功之后,手动进行commit;
采用这种模式时,最好保证消费操作的“幂等性”,防止重复消费;

exactly onece模式

核心思想是将offset作为唯一id与消息同时处理,并且保证处理的原子性;
设置自动提交为false;消息处理成功之后再提交;
比如对于关系型数据库来说,可以将id设置为消息处理结果的唯一索引,再次处理时,如果发现该索引已经存在,那么就不处理;

内容版权声明:除非注明,否则皆为本站原创文章。

转载注明出处:https://www.heiqu.com/zgzwww.html