更新时间：2024-07-24 GMT+08:00
配置Spark Executor堆内存参数
配置场景
当分配的内存太小或者被更高优先级的进程抢占资源时，会出现物理内存超限的情况。调整如下参数，可以防止物理内存超限。
配置描述
参数入口：
在应用提交时通过“--conf”设置这些参数，或者在客户端的“spark-defaults.conf”配置文件中调整如下参数。
|
参数 |
说明 |
默认值 |
|---|---|---|
|
spark.executor.memoryOverhead |
用于指定每个executor的堆外内存大小(MB)，增大该参数值，可以防止物理内存超限。该值是通过max(384,executor-memory*0.1)计算所得，最小值为384。 |
1024 |
父主题： Spark Core性能调优
