Kafka3.0.0版本——消费者（Sticky分区分配策略以及再平衡）

最新推荐文章于 2025-01-15 15:00:01 发布

小志的博客

最新推荐文章于 2025-01-15 15:00:01 发布

阅读量1.5k

点赞数

CC 4.0 BY-SA版权

分类专栏： kafka 文章标签： kafka

本文链接：https://blog.csdn.net/li1325169021/article/details/132792411

本文详细介绍了Kafka的Sticky分区分配策略，包括原理、创建带有七个分区的topic、消费者和生产者的代码示例，以及在停止消费者后分区再平衡的情况分析。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

一、Sticky分区分配策略原理

粘性分区定义：可以理解为分配的结果带有“粘性的”。即在执行一次新的分配之前，考虑上一次分配的结果，尽量少的调整分配的变动，可以节省大量的开销。
粘性分区是 Kafka 从 0.11.x 版本开始引入这种分配策略，首先会尽量均衡的放置分区到消费者上面，在出现同一消费者组内消费者出现问题的时候，会尽量保持原有分配的分区不变化。

二、Sticky分区分配策略示例需求

设置主题为 sevenTopic，7个分区；准备 3 个消费者，采用粘性分区策略，并进行消费，观察
消费分配情况。然后再停止其中一个消费者，再次观察消费分配情况。

三、Sticky分区分配策略代码案例

3.1、创建带有7个分区的sevenTopic主题

在 Kafka 集群控制台，创建带有7个分区的sevenTopic主题

bin/kafka-topics.sh --bootstrap-server 192.168.136.27:9092 --create --partitions 7 --replication-factor 1 --topic sevenTopic

在这里插入图片描述

3.2、创建三个消费者组成消费者组

复制 CustomConsumer1类，创建 CustomConsumer2和CustomConsumer3。这样可以由三个消费者组成消费者组，组名都为“test2”，设置分区分配策略为 Sticky。

package com.xz.kafka.consumer;

import org.apache.kafka.clients.consumer.ConsumerConfig;
import org.apache.kafka.clients.consumer.ConsumerRecord;
import org.apache.kafka.clients.consumer.ConsumerRecords;
import org.apache.kafka.clients.consumer.KafkaConsumer;
import org.apache.kafka.common.serialization.StringDeserializer;

import java.time.Duration;
import java.util.ArrayList;
import java.util.Properties;

public class