更新时间:2024-07-02 GMT+08:00
分享

检测Yarn内存使用情况

配置场景

针对所提交应用的内存使用无法预估的情况,可以通过修改服务端的配置项控制是否对内存使用进行检测。

如果不检测内存使用,Container会占用内存直到内存溢出;如果检测内存使用,当内存使用超过配置的内存大小时,相应的Container会被kill掉。

配置描述

参考修改集群服务配置参数进入Yarn服务参数“全部配置”界面,在搜索框中输入参数名称。

表1 参数说明

参数

描述

默认值

yarn.nodemanager.vmem-check-enabled

是否进行虚拟内存检测的开关。如果任务使用的内存量超出分配值,则直接将任务强制终止。

  • 设置为true时,进行虚拟内存检测;
  • 设置为false时,不进行虚拟内存检测。

true

yarn.nodemanager.pmem-check-enabled

是否进行物理内存检测的开关。如果任务使用的内存量超出分配值,则直接将任务强制终止。

  • 设置为true时,进行物理内存检测;
  • 设置为false时,不进行物理内存检测。

true

相关文档