更新时间:2022-12-14 GMT+08:00

执行Spark任务报内存不足告警

问题现象

执行Spark任务就会报内存不足告警,告警id:18022,可用内存会陡降到0。

处理步骤

在SQL脚本前设置executor参数,限制executor的核数和内存。

例如设置如下:

set hive.execution.engine=spark;
set spark.executor.cores=2;
set spark.executor.memory=4G;
set spark.executor.instances=10;

参数值大小请根据实际业务情况调整。