更新时间：2024-06-28 GMT+08:00
配置Spark Executor堆内存参数
配置场景
当分配的内存太小或者被更高优先级的进程抢占资源时，会出现物理内存超限的情况。调整如下参数，可以防止物理内存超限。
配置描述
参数入口：
在应用提交时通过“--conf”设置这些参数，或者在客户端的“spark-defaults.conf”配置文件中调整如下参数。
参数 | 说明 | 默认值 |
|---|---|---|
spark.executor.memoryOverhead | 用于指定每个executor的堆外内存大小(MB)，增大该参数值，可以防止物理内存超限。该值是通过max(384,executor-memory*0.1)计算所得，最小值为384。 | 1024 |
父主题：Spark Core性能调优
