实战分享|Kafka集群扩容的具体步骤

Kafka集群扩容的具体步骤，自己实践过的步骤：

提示：Kafka的Broker机器扩容以后，原有的topic分区不会重分区到新的Broker上，需要手动进行分区，以下为手动分区分区教程： 没弄过的建议先在测试环境弄一遍，没问题再去生产操作

1：在当前kafka的config目录下新建一个json文件

 vim /app/servers/kafka/config/topic-to-move.json

2：json文件格式如下：

        2.1 针对单个topic：{“topics”:[{"topic":"topic_1"}],"version":1}

        2.2 针对多个topic：{“topics”:[{"topic":"topic_1"},{"topic":"topic_2"}],"version":1} 推荐一个个弄

3：在kafka的bin目录下执行命令生成新的分区规则

/app/servers/kafka/bin/kafka-reassign-partitions.sh --zookeeper 

服务器 IP:2181 --topics-to-move-json-file /app/server/kafka/config/topic-to-move.json --broker-list "67,68,69,70,71,72,73,74,75,76" --generate

Tips: broker-list里面的数字对应的是所有kafka集群机器的brokerId

4：复制新的分区规则 第三步的命令执行完毕以后，屏幕上会生成新的分区规则，将生成后的新区规则写入新的文件中

注意：只复制Proposed partition reassignment configuration下面的分区规则