更新时间：2023-10-14 GMT+08:00
执行Spark任务报内存不足告警如何处理？
问题现象
执行Spark任务就会报内存不足告警，告警id：18022，可用内存会陡降到0。
处理步骤
在SQL脚本前设置executor参数，限制executor的核数和内存。
例如设置如下：
set hive.execution.engine=spark; set spark.executor.cores=2; set spark.executor.memory=4G; set spark.executor.instances=10;
参数值大小请根据实际业务情况调整。
父主题： 大数据业务开发
大数据业务开发 所有常见问题
- MRS是否支持同时运行多个Flume任务？
- 如何修改FlumeClient的日志为标准输出日志？
- Hadoop组件jar包位置和环境变量的位置在哪里？
- HBase支持的压缩算法有哪些？
- MRS是否支持通过Hive的HBase外表将数据写入到HBase？
- 如何查看HBase日志？
- HBase表如何设置和修改数据保留期？
- 如何通过happybase连接到MRS服务的HBase？
- 如何修改HDFS的副本数？
- 如何修改HDFS主备倒换类？
- DynamoDB的number在Hive表中用什么类型比较好？
- Hive Driver是否支持对接dbcp2？
- 用户A如何查看用户B创建的Hive表？
- Hive样例工程中的com.huawei.gaussc10依赖包在哪里下载？
- Hive查询数据是否支持导出？
- Hive使用beeline -e执行多条语句报错如何处理？
- 添加Hive服务后，提交hivesql/hivescript作业失败如何处理？
- Hue下载的Excel无法打开如何处理？
- Hue连接hiveserver，不释放session，报错over max user connections如何处理？
- 如何重置Kafka数据？
- Kafka目前支持的访问协议类型有哪些？
- 消费Kafka Topic时报错“Not Authorized to access group XXX”如何处理？
- Kudu支持的压缩算法有哪些？
- 如何查看Kudu日志？
- 新建集群Kudu服务异常如何处理？
- MRS是否支持Python代码？
- OpenTSDB是否支持Python的接口？
- Presto如何配置其他数据源？
- MRS 1.9.3 Ranger证书如何更新？
- MRS如何连接spark-shell？
- MRS如何连接spark-beeline？
- Spark Job对应的运行日志保存在哪里？
- MRS的Storm集群提交任务时如何指定日志路径？
- 如何检查Yarn的ResourceManager配置是否正常？
- 如何修改Clickhouse服务的allow_drop_detached配置项?
- 执行Spark任务报内存不足告警如何处理？
- ClickHouse系统表日志过大，如何添加定期删除策略？
- 如何获取Spark Jar包？
- 修改hdfs-site.xml文件后未及时重启NameNode导致产生告警如何处理？
- SparkSQL访问Hive分区表启动Job前耗时较长如何处理？
- spark.yarn.executor.memoryOverhead设置不生效如何处理？
- 如何修改ClickHouse服务时区？
- 连接ClickHouse服务端异常报错“code: 516”如何处理？
more
