更新时间:2023-03-17 GMT+08:00

Kafka性能调优

操作场景

通过调整Kafka服务端参数,可以提升特定业务场景下Kafka的处理能力。

参数调优

修改服务配置参数,请参考修改集群服务配置参数。调优参数请参考表1

表1 调优参数

配置参数

缺省值

调优场景

num.recovery.threads.per.data.dir

10

在Kafka启动过程中,数据量较大情况下,可调大此参数,可以提升启动速度。

background.threads

10

Broker后台任务处理的线程数目。数据量较大的情况下,可适当调大此参数,以提升Broker处理能力。

num.replica.fetchers

1

副本向Leader请求同步数据的线程数,增大这个数值会增加副本的I/O并发度。

num.io.threads

8

Broker用来处理磁盘I/O的线程数目,这个线程数目建议至少等于硬盘的个数。

KAFKA_HEAP_OPTS

-Xmx6G -Xms6G

Kafka JVM堆内存设置。当Broker上数据量较大时,应适当调整堆内存大小。