为什么限制Topic的总分区数?
Kafka以分区为粒度管理消息,分区多导致生产、存储、消费都碎片化,影响性能稳定性。在使用过程中,当Topic的总分区数达到上限后,用户就无法继续创建Topic。
不同规格配置的Topic总分区数不同,如下表所示。
规格名称 |
代理个数范围 |
单个代理TPS |
单个代理分区上限 |
单个代理建议消费组数 |
单个代理客户端总连接数上限 |
存储空间范围(GB) |
单个代理流量规格(MB/s) |
---|---|---|---|---|---|---|---|
kafka.2u4g.cluster.small |
3~30 |
20000 |
100 |
15 |
2000 |
300~300000 |
40 |
kafka.2u4g.cluster |
3~30 |
30000 |
250 |
20 |
2000 |
300~300000 |
100 |
kafka.4u8g.cluster |
3~30 |
100000 |
500 |
100 |
4000 |
300~600000 |
200 |
kafka.8u16g.cluster |
3~50 |
150000 |
1000 |
150 |
4000 |
300~1500000 |
375 |
kafka.12u24g.cluster |
3~50 |
200000 |
1500 |
200 |
4000 |
300~1500000 |
625 |
kafka.16u32g.cluster |
3~50 |
250000 |
2000 |
200 |
4000 |
300~1500000 |
750 |
规格名称 |
代理个数 |
单个代理TPS |
单个代理分区上限 |
单个代理建议消费组数 |
单个代理客户端总连接数上限 |
存储空间范围(GB) |
单个代理流量规格(MB/s) |
---|---|---|---|---|---|---|---|
kafka.2u4g.single.small |
1 |
20000 |
100 |
15 |
2000 |
100~10000 |
40 |
kafka.2u4g.single |
1 |
30000 |
250 |
20 |
2000 |
100~10000 |
100 |