更新时间:2023-03-17 GMT+08:00

HA

配置场景

Flink的HA模式依赖于ZooKeeper,所以必须配置ZooKeeper相关配置。

配置描述

配置项包括ZooKeeper地址,路径,安全认证等。

表1 参数说明

参数

描述

默认值

是否必选配置

high-availability

HA模式,是启用HA还是非HA模式。当前支持两种模式:

  1. none,只运行单个jobManager,jobManager的状态不进行Checkpoint。
  2. ZooKeeper。
    • 非YARN模式下,支持多个jobManager,通过选举产生leader。
    • YARN模式下只存在一个jobManager。

zookeeper

high-availability.zookeeper.quorum

ZooKeeper quorum地址。

自动配置

high-availability.zookeeper.path.root

Flink在ZooKeeper上创建的根目录,存放HA模式必须的元数据。

/flink

high-availability.storageDir

存放state backend中JobManager元数据,ZooKeeper只保存实际数据的指针。

hdfs:///flink/recovery

high-availability.zookeeper.client.session-timeout

ZooKeeper客户端会话超时时间。单位:ms。

60000

high-availability.zookeeper.client.connection-timeout

ZooKeeper客户端连接超时时间。单位:ms。

15000

high-availability.zookeeper.client.retry-wait

ZooKeeper客户端重试等待时间。单位:ms。

5000

high-availability.zookeeper.client.max-retry-attempts

ZooKeeper客户端最大重试次数。

3

high-availability.job.delay

当jobManager恢复后重启job的延迟时间。

默认值和akka.ask.timeout配置值保持一致。

high-availability.zookeeper.client.acl

设置ZooKeeper节点的ACL (open creator)。设置ACL选项请参考:https://zookeeper.apache.org/doc/r3.5.1-alpha/zookeeperProgrammers.html#sc_BuiltinACLSchemes

按照集群的安装模式自动配置:

  • 安全模式:creator
  • 非安全模式:open

zookeeper.sasl.disable

基于SASL认证的使能开关。

按照集群的安装模式自动配置:

  • 安全模式:false
  • 非安全模式:true

zookeeper.sasl.service-name

  • 如果ZooKeeper服务端配置了不同于“ZooKeeper”的服务名,可以设置此配置项。
  • 如果客户端和服务端的服务名不一致,认证会失败。

zookeeper

针对MRS 3.x之前版本,不支持high-availability.job.delay配置参数。