更新时间:2024-11-13 GMT+08:00

为什么限制Topic的总分区数?

Kafka以分区为粒度管理消息,分区多导致生产、存储、消费都碎片化,影响性能稳定性。在使用过程中,当Topic的总分区数达到上限后,用户就无法继续创建Topic。

不同规格配置的Topic总分区数不同,如下表所示。

表1 Kafka集群实例规格

规格名称

代理个数范围

单个代理TPS

单个代理分区上限

单个代理建议消费组数

单个代理客户端总连接数上限

存储空间范围(GB)

单个代理流量规格(MB/s)

kafka.2u4g.cluster.small

3~30

20000

100

15

2000

300~300000

40

kafka.2u4g.cluster

3~30

30000

250

20

2000

300~300000

100

kafka.4u8g.cluster

3~30

100000

500

100

4000

300~600000

200

kafka.8u16g.cluster

3~50

150000

1000

150

4000

300~1500000

375

kafka.12u24g.cluster

3~50

200000

1500

200

4000

300~1500000

625

kafka.16u32g.cluster

3~50

250000

2000

200

4000

300~1500000

750

表2 Kafka单机实例规格

规格名称

代理个数

单个代理TPS

单个代理分区上限

单个代理建议消费组数

单个代理客户端总连接数上限

存储空间范围(GB)

单个代理流量规格(MB/s)

kafka.2u4g.single.small

1

20000

100

15

2000

100~10000

40

kafka.2u4g.single

1

30000

250

20

2000

100~10000

100