更新时间:2024-05-28 GMT+08:00

配置Spark Executor堆内存参数

配置场景

当分配的内存太小或者被更高优先级的进程抢占资源时,会出现物理内存超限的情况。调整如下参数,可以防止物理内存超限。

配置描述

参数入口:

在应用提交时通过“--conf”设置这些参数,或者在客户端的“spark-defaults.conf”配置文件中调整如下参数。

表1 参数说明

参数

说明

默认值

spark.executor.memoryOverhead

用于指定每个executor的堆外内存大小(MB),增大该参数值,可以防止物理内存超限。该值是通过max(384,executor-memory*0.1)计算所得,最小值为384。

1024