Kafka实例的Topic数量是否有限制?
Topic数量和Topic总分区数、每个Topic的分区数有关,Kafka实例对Topic总分区数设置了上限,当达到上限后,会导致用户无法继续创建Topic。
不同规格配置的Topic总分区数不同,如下表所示。
实例规格 |
代理个数范围 |
单个代理TPS |
单个代理分区上限 |
单个代理建议消费组数 |
单个代理客户端总连接数上限 |
存储空间范围 |
单个代理流量规格(MB/s) |
---|---|---|---|---|---|---|---|
kafka.2u4g.cluster.small |
3~30 |
20000 |
100 |
15 |
2000 |
300GB~300000GB |
40 |
kafka.2u4g.cluster |
3~30 |
30000 |
250 |
20 |
2000 |
300GB~300000GB |
100 |
kafka.4u8g.cluster |
3~30 |
100000 |
500 |
100 |
4000 |
300GB~600000GB |
200 |
kafka.8u16g.cluster |
3~50 |
150000 |
1000 |
150 |
4000 |
300GB~1500000GB |
375 |
kafka.12u24g.cluster |
3~50 |
200000 |
1500 |
200 |
4000 |
300GB~1500000GB |
625 |
kafka.16u32g.cluster |
3~50 |
250000 |
2000 |
200 |
4000 |
300GB~1500000GB |
750 |
实例规格 |
代理个数 |
单个代理TPS |
单个代理分区上限 |
单个代理建议消费组数 |
单个代理客户端总连接数上限 |
存储空间范围 |
单个代理流量规格(MB/s) |
---|---|---|---|---|---|---|---|
kafka.2u4g.single.small |
1 |
20000 |
100 |
15 |
2000 |
100GB~10000GB |
40 |
kafka.2u4g.single |
1 |
30000 |
250 |
20 |
2000 |
100GB~10000GB |
100 |
Topic和分区问题 所有常见问题
- Kafka实例的Topic数量是否有限制?
- 为什么限制Topic的总分区数?
- Kafka支持减少分区数吗?
- Kafka实例创建Topic失败
- Kafka实例支持批量导入Topic功能么?或者是自动生成Topic功能?
- 为什么删除Topic不生效?删除后该Topic仍然存在
- Kafka实例是否支持查看单个Topic占用磁盘空间?
- Topic是否支持ACL权限配置?
- 消息被消费后,没有删除,导致Kafka存储空间占满?
- 如何扩总分区?
- 修改自动创建Topic的配置,会触发重启吗?
- Kafka可以删除消费组下不用的Topic吗?
- 消费者消费Topic失败,提示没有权限?
- 为什么实例中存在默认名为__trace和__consumer_offsets的Topic?
more