Kafka实例的Topic数量是否有限制?
Topic数量和Topic总分区数、每个Topic的分区数有关,Kafka实例对Topic总分区数设置了上限,当达到上限后,会导致用户无法继续创建Topic。
例如:kafka.2u4g.cluster * 3 broker实例的Topic总分区数=代理数量*单个代理分区上限,即3*250=750。
- 如果该实例下每个Topic的分区数都为3,则Topic数量为750/3=250个。
- 如果该实例下每个Topic的分区数都为1,则Topic数量为750/1=750个。
不同规格配置的Topic总分区数不同,如下表所示。
| 规格名称 | 代理个数范围 | 单个代理TPS | 单个代理分区上限 | 单个代理建议消费组数 | 单个代理客户端总连接数上限 | 存储空间范围(GB) | 单个代理带宽(MB/s) |
|---|---|---|---|---|---|---|---|
| kafka.2u4g.cluster.small | 3~30 | 20000 | 100 | 15 | 2000 | 300~300000 | 40 |
| kafka.2u4g.cluster | 3~30 | 30000 | 250 | 20 | 2000 | 300~300000 | 100 |
| kafka.4u8g.cluster | 3~30 | 100000 | 500 | 100 | 4000 | 300~600000 | 200 |
| kafka.8u16g.cluster | 3~50 | 150000 | 1000 | 150 | 4000 | 300~1500000 | 375 |
| kafka.12u24g.cluster | 3~50 | 200000 | 1500 | 200 | 4000 | 300~1500000 | 625 |
| kafka.16u32g.cluster | 3~50 | 250000 | 2000 | 200 | 4000 | 300~1500000 | 750 |
| 规格名称 | 代理个数 | 单个代理TPS | 单个代理分区上限 | 单个代理建议消费组数 | 单个代理客户端总连接数上限 | 存储空间范围(GB) | 单个代理流量规格(MB/s) |
|---|---|---|---|---|---|---|---|
| kafka.2u4g.single.small | 1 | 20000 | 100 | 15 | 2000 | 100~10000 | 40 |
| kafka.2u4g.single | 1 | 30000 | 250 | 20 | 2000 | 100~10000 | 100 |