Apache Kafka同步到MRS Kafka
源端优化
Kafka抽取优化
可通过在源端配置中单击“Kafka源端属性配置”来添加Kafka优化配置。
可使用的调优参数具体如下:
参数名 |
类型 |
默认值 |
说明 |
---|---|---|---|
properties.fetch.max.bytes |
int |
57671680 |
消费Kafka时每次fetch请求返回的最大字节数。Kafka单条消息大的场景,可以适当调高每次获取的数据量,以提高性能。 |
properties.max.partition.fetch.bytes |
int |
1048576 |
消费Kafka时服务器将返回的每个分区的最大字节数。Kafka单条消息大的场景,可以适当调高每次获取的数据量,以提高性能。 |
properties.max.poll.records |
int |
500 |
消费者每次poll时返回的最大消息条数。Kafka单条消息大的场景,可以适当调高每次获取的数据量,以提高性能。 |
目的端优化
Kafka写入优化
Kafka写入通常速率极快,若有阻塞的场景请优先增加并发解决。