更新时间:2024-05-29 GMT+08:00

为什么限制Topic的总分区数?

Kafka以分区为粒度管理消息,分区多导致生产、存储、消费都碎片化,影响性能稳定性。在使用过程中,当Topic的总分区数达到上限后,用户就无法继续创建Topic。

不同规格配置的Topic总分区数不同,如下表所示。

表1 Kafka实例规格(集群版实例)

实例规格

代理个数范围

单个代理TPS

单个代理分区上限

单个代理建议消费组数

单个代理客户端总连接数上限

存储空间范围

单个代理流量规格(MB/s)

kafka.2u4g.cluster

3~30

30000

250

20

2000

300GB~300000GB

100

kafka.4u8g.cluster

3~30

100000

500

100

4000

300GB~600000GB

200

kafka.8u16g.cluster

3~50

150000

1000

150

4000

300GB~1500000GB

375

kafka.12u24g.cluster

3~50

200000

1500

200

4000

300GB~1500000GB

625

kafka.16u32g.cluster

3~50

250000

2000

200

4000

300GB~1500000GB

750