为什么限制Topic的总分区数?
Kafka以分区为粒度管理消息,分区多导致生产、存储、消费都碎片化,影响性能稳定性。在使用过程中,当Topic的总分区数达到上限后,用户就无法继续创建Topic。
不同规格配置的Topic总分区数不同,如下表所示。
| 规格名称 | 代理个数范围 | 单个代理TPS | 单个代理分区上限 | 单个代理建议消费组数 | 单个代理客户端总连接数上限 | 存储空间范围(GB) | 单个代理流量规格(MB/s) | 
|---|---|---|---|---|---|---|---|
| kafka.2u4g.cluster.small | 3~30 | 20000 | 100 | 15 | 2000 | 300~300000 | 40 | 
| kafka.2u4g.cluster | 3~30 | 30000 | 250 | 20 | 2000 | 300~300000 | 100 | 
| kafka.4u8g.cluster | 3~30 | 100000 | 500 | 100 | 4000 | 300~600000 | 200 | 
| kafka.8u16g.cluster | 3~50 | 150000 | 1000 | 150 | 4000 | 300~1500000 | 375 | 
| kafka.12u24g.cluster | 3~50 | 200000 | 1500 | 200 | 4000 | 300~1500000 | 625 | 
| kafka.16u32g.cluster | 3~50 | 250000 | 2000 | 200 | 4000 | 300~1500000 | 750 | 
| 规格名称 | 代理个数 | 单个代理TPS | 单个代理分区上限 | 单个代理建议消费组数 | 单个代理客户端总连接数上限 | 存储空间范围(GB) | 单个代理流量规格(MB/s) | 
|---|---|---|---|---|---|---|---|
| kafka.2u4g.single.small | 1 | 20000 | 100 | 15 | 2000 | 100~10000 | 40 | 
| kafka.2u4g.single | 1 | 30000 | 250 | 20 | 2000 | 100~10000 | 100 | 
 
  