配置Spark Executor堆内存参数

操作场景

当分配的内存太小或者被更高优先级的进程抢占资源时，会出现物理内存超限的情况。调整如下参数，可以防止物理内存超限。

配置描述

1. 安装Spark客户端。

   详细操作请参考安装MRS客户端。

2. 使用客户端安装用户登录Spark客户端节点。

   在客户端的“{客户端安装目录}/Spark/spark/conf/spark-defaults.conf”配置文件中调整如下参数，或者在应用提交时通过“--conf”设置这些参数。

   表1 参数说明

   参数	参数说明	取值示例
   spark.executor.memoryOverhead	用于指定每个executor的堆外内存大小(MB)，增大该参数值，可以防止物理内存超限。 该值是通过max(384,executor-memory*0.1)计算所得，最小值为384。	1024