更新时间:2024-11-11 GMT+08:00

Kafka单机实例

Kafka单机实例规格

Kafka单机实例由一个代理组成,兼容开源Kafka 2.7版本,适用于测试场景,不建议用于生产业务。

TPS(Transaction per second),在Kafka场景中,指每秒能写入到Kafka实例的最大消息数量。下表中TPS性能,是指以1KB大小的消息为例的每秒处理消息条数。测试场景为连接内网访问明文接入、磁盘类型为超高I/O的实例。

表1 Kafka单机实例规格

规格名称

代理个数

单个代理TPS

单个代理分区上限

单个代理建议消费组数

单个代理客户端总连接数上限

存储空间范围(GB)

单个代理流量规格(MB/s)

kafka.2u4g.single.small

1

20000

100

15

2000

100~10000

40

kafka.2u4g.single

1

30000

250

20

2000

100~10000

100

Kafka单机实例的存储空间估算参考

Kafka实例支持多副本存储,存储空间用于存储消息(包括副本中的消息)、日志和元数据。您在创建Kafka实例,选择初始存储空间时,建议根据业务消息体积预估、副本数量以及预留磁盘大小选择合适的存储空间。每个Kafka代理会预留33GB的磁盘空间,用于存储日志和元数据。

例如:业务消息体积预估100GB,副本数为2,Kafka实例的代理数为1,则磁盘容量最少应为100GB*2+33GB*1=233GB。

Kafka实例支持对存储进行扩容,根据业务增长,随时扩容,节约成本。

Kafka单机实例Topic数量计算

Kafka实例对Topic分区数之和设置了上限,当达到上限之后,用户无法继续创建Topic。

所以,Topic数量和实例分区数上限、每个Topic的分区数有关,其中,每个Topic分区数可在创建Topic时设置,实例分区数上限参考表1

kafka.2u4g.single实例的分区数上限为250。

  • 如果该实例下每个Topic的分区个数都为2,则Topic个数为250/2=125个。
  • 如果该实例下每个Topic的分区个数都为1,则Topic个数为250/1=250个。