更新时间:2022-12-14 GMT+08:00

Yarn

配置场景

Flink运行在Yarn集群上时,JobManager运行在Application Master上。JobManager的一些配置参数依赖于Yarn,通过配置YARN相关的配置,使Flink更好的运行在Yarn上。

配置描述

配置项包括yarn container的内存,虚拟内核,端口等。

表1 参数说明

参数

描述

默认值

是否必选配置

yarn.maximum-failed-containers

当TaskManager所属容器出错后,重新申请container次数。默认值为Flink集群启动时TaskManager的数量。

5

yarn.application-attempts

Application master重启次数,次数是算在一个validity interval的最大次数,validity interval在flink中设置为akka的timeout。重启后AM的地址和端口会变化,client需要手动连接。

2

yarn.heartbeat-delay

Application Master和YARN Resource Manager心跳的时间间隔。单位:seconds

5

yarn.containers.vcores

每个Yarn容器的虚拟核数。

默认值是TaskManager的slot数

yarn.application-master.port

Application Master端口号设置,支持端口范围。

32586-32650