Kafka性能调优
操作场景
通过调整Kafka服务端参数,可以提升特定业务场景下Kafka的处理能力。
参数调优
修改服务配置参数,请参考修改集群服务配置参数。调优参数请参考表1。
配置参数 |
缺省值 |
调优场景 |
---|---|---|
num.recovery.threads.per.data.dir |
10 |
在Kafka启动过程中,数据量较大情况下,可调大此参数,可以提升启动速度。 |
background.threads |
10 |
Broker后台任务处理的线程数目。数据量较大的情况下,可适当调大此参数,以提升Broker处理能力。 |
num.replica.fetchers |
1 |
副本向Leader请求同步数据的线程数,增大这个数值会增加副本的I/O并发度。 |
num.io.threads |
8 |
Broker用来处理磁盘I/O的线程数目,这个线程数目建议至少等于硬盘的个数。 |
KAFKA_HEAP_OPTS |
-Xmx6G -Xms6G |
Kafka JVM堆内存设置。当Broker上数据量较大时,应适当调整堆内存大小。 |