更新时间:2023-05-06 GMT+08:00

为什么限制Topic的总分区数?

Kafka以分区为粒度管理消息,分区多导致生产、存储、消费都碎片化,影响性能稳定性。在使用过程中,当Topic的总分区数达到上限后,用户就无法继续创建Topic。

不同规格配置的Topic总分区数不同,如下表所示。

表1 Kafka实例规格

实例规格

代理个数范围

单个代理TPS

单个代理分区上限

单个代理Consumer Group上限

单个代理客户端总连接数上限

存储空间范围

kafka.2u4g.cluster

3~30

30000

250

20

2000

300GB~300000GB

kafka.4u8g.cluster

3~30

100000

500

100

4000

300GB~600000GB

kafka.8u16g.cluster

3~30

150000

1000

150

4000

300GB~900000GB

kafka.12u24g.cluster

3~30

200000

1500

200

4000

300GB~900000GB

kafka.16u32g.cluster

3~30

250000

2000

200

4000

300GB~900000GB