执行Spark任务报内存不足告警

问题现象

执行Spark任务就会报内存不足告警，告警id：18022，可用内存会陡降到0。

处理步骤

在SQL脚本前设置executor参数，限制executor的核数和内存。

例如设置如下：

set hive.execution.engine=spark;
set spark.executor.cores=2;
set spark.executor.memory=4G;
set spark.executor.instances=10;

参数值大小请根据实际业务情况调整。