更新时间:2024-07-31 GMT+08:00
执行Spark任务报内存不足告警如何处理?
问题现象
执行Spark任务就会报内存不足告警,告警id:18022,可用内存会陡降到0。
处理步骤
在SQL脚本前设置executor参数,限制executor的核数和内存。
例如设置如下:
set hive.execution.engine=spark; set spark.executor.cores=2; set spark.executor.memory=4G; set spark.executor.instances=10;
参数值大小请根据实际业务情况调整。
父主题: 作业管理类