配置Kafka高可用和高可靠

Kafka消息传输保障机制，可以通过配置不同的参数来保障消息传输，进而满足不同的性能和可靠性要求。本章节介绍如何配置Kafka高可用和高可靠参数。

本章节内容适用于MRS 3.x及后续版本。

配置高可用、高性能的影响：
配置高可用、高性能模式后，数据可靠性会降低。在磁盘故障、节点故障等场景下存在数据丢失风险。
配置高可靠性的影响：
- 性能降低：
  在生产数据时，配置了高可靠参数ack=-1之后，需要多个副本均写入成功之后才认为是写入成功。这样会导致单条消息时延增加，客户端处理能力下降。具体性能以现场实际测试数据为准。
- 可用性降低：
  不允许不在ISR中的副本被选举为Leader。如果Leader下线时，其他副本均不在ISR列表中，那么该分区将保持不可用，直到Leader节点恢复。当分区的一个副本所在节点故障时，无法满足最小写入成功的副本数，那么将会导致业务写入失败。
参数配置项为服务级配置需要重启Kafka，建议在变更窗口做服务级配置修改。

如果业务需要保证高可用和高性能。

参考修改集群服务配置参数进入Kafka服务全部配置页面，在服务端配置如表1中参数。

表1 服务端高可用性和高性能参数说明
参数	默认值	说明
unclean.leader.election.enable	true	是否允许不在ISR中的副本被选举为Leader，如果设置为true，可能会造成数据丢失。
auto.leader.rebalance.enable	true	是否使用Leader自动均衡功能。如果设为true，Controller会周期性的为所有节点的每个分区均衡Leader，将Leader分配给更优先的副本。
min.insync.replicas	1	当Producer设置acks为-1时，指定需要写入成功的副本的最小数目。

在客户端配置文件producer.properties中配置如表2中参数，producer.properties存放路径为：Kafka客户端安装路径/Kafka/kafka/config/producer.properties。

表2 客户端高可用性和高性能参数说明
参数	默认值	说明
acks	1	需要Leader确认消息是否已经接收并认为已经处理完成。该参数会影响消息的可靠性和性能。 acks=0：Producer将不会等待服务端任何响应。消息将会被认为成功。 acks=1：当副本所在Leader确认数据已写入，但是其不会等待所有的副本完全写入即返回响应。在这种情况下，如果Leader确认后但是副本未同步完成时Leader异常，那么数据就会丢失。 acks=-1：意味着等待所有的同步副本确认后才认为成功，配合“min.insync.replicas”可以确保多副本写入成功，只要有一个副本保持活跃状态，记录将不会丢失。

如果业务需要保证数据高可靠性。

参考修改集群服务配置参数进入Kafka服务全部配置页面，在服务端配置如表3参数。

表3 服务端高可靠性参数说明
参数	建议值	说明
unclean.leader.election.enable	false	不允许不在ISR中的副本被选举为Leader。
min.insync.replicas	2	当Producer设置acks为-1时，指定需要写入成功的副本的最小数目。需要满足min.insync.replicas <= replication.factor。

在客户端配置文件producer.properties中配置如表4中参数，producer.properties存放路径为：Kafka客户端安装路径/Kafka/kafka/config/producer.properties。

表4 客户端高可靠性参数说明
参数	建议值	说明
acks	-1	Producer需要Leader确认消息是否已经接收并认为已经处理完成。 acks=-1：需要等待在ISR列表的副本都确认接收到消息并处理完成才表示消息成功。配合“min.insync.replicas”可以确保多副本写入成功，只要有一个副本保持活跃状态，记录将不会丢失，此参数配置为-1时，会降低生产性能，请权衡后配置。

请根据以下业务场景对可靠性和性能要求进行评估，采用合理参数配置。