文档首页/ MapReduce服务 MRS/ 常见问题/ 作业管理类/ 执行Spark任务报内存不足告警如何处理?
更新时间:2024-07-31 GMT+08:00
分享

执行Spark任务报内存不足告警如何处理?

问题现象

执行Spark任务就会报内存不足告警,告警id:18022,可用内存会陡降到0。

处理步骤

在SQL脚本前设置executor参数,限制executor的核数和内存。

例如设置如下:

set hive.execution.engine=spark;
set spark.executor.cores=2;
set spark.executor.memory=4G;
set spark.executor.instances=10;

参数值大小请根据实际业务情况调整。

相关文档