更新时间:2023-05-06 GMT+08:00
为什么限制Topic的总分区数?
Kafka以分区为粒度管理消息,分区多导致生产、存储、消费都碎片化,影响性能稳定性。在使用过程中,当Topic的总分区数达到上限后,用户就无法继续创建Topic。
不同规格配置的Topic总分区数不同,如下表所示。
实例规格 |
代理个数范围 |
单个代理TPS |
单个代理分区上限 |
单个代理Consumer Group上限 |
单个代理客户端总连接数上限 |
存储空间范围 |
---|---|---|---|---|---|---|
kafka.2u4g.cluster |
3~30 |
30000 |
250 |
20 |
2000 |
300GB~300000GB |
kafka.4u8g.cluster |
3~30 |
100000 |
500 |
100 |
4000 |
300GB~600000GB |
kafka.8u16g.cluster |
3~30 |
150000 |
1000 |
150 |
4000 |
300GB~900000GB |
kafka.12u24g.cluster |
3~30 |
200000 |
1500 |
200 |
4000 |
300GB~900000GB |
kafka.16u32g.cluster |
3~30 |
250000 |
2000 |
200 |
4000 |
300GB~900000GB |
父主题: Topic和分区问题