利用Kafka动态调整topic分区partition

使用Kafka动态调整topic分区的攻略：

1. 确定需要调整分区的topic

在Kafka中，可以使用kafka-topics.sh脚本或者Kafka命令行工具(CLI) kafka-topics来查看topic的详细信息。我们可以使用如下命令来查看topic的详情：

$ kafka-topics.sh --zookeeper localhost:2181 --describe --topic my-topic

其中--zookeeper指定了Kafka集群的Zookeeper地址；--describe表示查看topic的详细信息；--topic指定了需要查看的topic名字。

1. 修改topic的分区

Kafka提供了kafka-topics.sh脚本或者Kafka命令行工具(CLI) kafka-topics来修改分区参数。我们可以使用如下命令来修改分区数：

$ kafka-topics.sh --zookeeper localhost:2181 --alter --topic my-topic --partitions 3

其中--alter表示修改topic参数；--partitions指定了目标分区数。

1. 确认分区调整

分区调整并不会立即生效，需要等待一段时间，使得Kafka集群完成分区再均衡，并分配给各个broker。我们需要在metadata.max.age.ms时间过期前检查topic分区并确认分区数目是否与我们预期的一致。我们可以使用如下命令来查看topic的分区信息：

$ kafka-topics.sh --zookeeper localhost:2181 --describe --topic my-topic

示例一：

假设我们需要将名为my-topic的topic的分区数增加到5个。我们可以按照如下步骤进行：

1. 查看my-topic的详细信息

执行如下命令：

$ kafka-topics.sh --zookeeper localhost:2181 --describe --topic my-topic

输出结果为：

Topic:my-topic PartitionCount:2 ReplicationFactor:1 Configs:
Topic: my-topic Partition: 0 Leader: 2 Replicas: 2 Isr: 2
Topic: my-topic Partition: 1 Leader: 1 Replicas: 1 Isr: 1

可以看到，该topic当前只有两个分区。

1. 修改分区数目

执行如下命令：

$ kafka-topics.sh --zookeeper localhost:2181 --alter --topic my-topic --partitions 5

1. 确认分区数目

执行如下命令：

$ kafka-topics.sh --zookeeper localhost:2181 --describe --topic my-topic

输出结果为：

Topic:my-topic PartitionCount:5 ReplicationFactor:1 Configs:
Topic: my-topic Partition: 0 Leader: 2 Replicas: 2 Isr: 2
Topic: my-topic Partition: 1 Leader: 1 Replicas: 1 Isr: 1
Topic: my-topic Partition: 2 Leader: 2 Replicas: 2 Isr: 2
Topic: my-topic Partition: 3 Leader: 1 Replicas: 1 Isr: 1
Topic: my-topic Partition: 4 Leader: 2 Replicas: 2 Isr: 2

可以看到，该topic的分区数已经被增加到了5。

示例二：

假设我们需要将名为my-topic的topic的分区数减少到1个。我们可以按照如下步骤进行：

1. 查看my-topic的详细信息

执行如下命令：

$ kafka-topics.sh --zookeeper localhost:2181 --describe --topic my-topic

输出结果为：

Topic:my-topic PartitionCount:5 ReplicationFactor:1 Configs:
Topic: my-topic Partition: 0 Leader: 2 Replicas: 2 Isr: 2
Topic: my-topic Partition: 1 Leader: 1 Replicas: 1 Isr: 1
Topic: my-topic Partition: 2 Leader: 2 Replicas: 2 Isr: 2
Topic: my-topic Partition: 3 Leader: 1 Replicas: 1 Isr: 1
Topic: my-topic Partition: 4 Leader: 2 Replicas: 2 Isr: 2

可以看到，该topic当前有五个分区。

1. 修改分区数目

执行如下命令：

$ kafka-topics.sh --zookeeper localhost:2181 --alter --topic my-topic --partitions 1

1. 确认分区数目

执行如下命令：

$ kafka-topics.sh --zookeeper localhost:2181 --describe --topic my-topic

输出结果为：

Topic:my-topic PartitionCount:1 ReplicationFactor:1 Configs:
Topic: my-topic Partition: 0 Leader: 2 Replicas: 2 Isr: 2

可以看到，该topic的分区数已经被减少到了1。