更新时间：2023-10-19 GMT+08:00
spark.yarn.executor.memoryOverhead设置不生效如何处理？
问题现象
Spark任务需要调整executor的overhead内存，设置了参数spark.yarn.executor.memoryOverhead=4096，但实际计算的时候依旧按照默认值1024申请资源。
原因分析
从Spark 2.3版本开始，推荐使用新参数spark.executor.memoryOverhead设置executor的overhead内存大小，如果任务两个参数都设置，则spark.yarn.executor.memoryOverhead的值不生效，以spark.executor.memoryOverhead的值为最终值。
同样的参数还有driver的overhead内存设置：spark.driver.memoryOverhead
解决步骤
使用新版本参数设置executor的overhead内存：
spark.executor.memoryOverhead=4096
父主题： 大数据业务开发
大数据业务开发 所有常见问题
- MRS是否支持同时运行多个Flume任务？
- 如何修改FlumeClient的日志为标准输出日志？
- Hadoop组件jar包位置和环境变量的位置在哪里？
- HBase支持的压缩算法有哪些？
- MRS是否支持通过Hive的HBase外表将数据写入到HBase？
- 如何查看HBase日志？
- HBase表如何设置和修改数据保留期？
- 如何通过happybase连接到MRS服务的HBase？
- 如何修改HDFS的副本数？
- 如何修改HDFS主备倒换类？
- DynamoDB的number在Hive表中用什么类型比较好？
- Hive Driver是否支持对接dbcp2？
- 用户A如何查看用户B创建的Hive表？
- Hive样例工程中的com.huawei.gaussc10依赖包在哪里下载？
- Hive查询数据是否支持导出？
- Hive使用beeline -e执行多条语句报错如何处理？
- 添加Hive服务后，提交hivesql/hivescript作业失败如何处理？
- Hue下载的Excel无法打开如何处理？
- Hue连接hiveserver，不释放session，报错over max user connections如何处理？
- 如何重置Kafka数据？
- Kafka目前支持的访问协议类型有哪些？
- 消费Kafka Topic时报错“Not Authorized to access group XXX”如何处理？
- Kudu支持的压缩算法有哪些？
- 如何查看Kudu日志？
- 新建集群Kudu服务异常如何处理？
- MRS是否支持Python代码？
- OpenTSDB是否支持Python的接口？
- Presto如何配置其他数据源？
- MRS 1.9.3 Ranger证书如何更新？
- MRS如何连接spark-shell？
- MRS如何连接spark-beeline？
- Spark Job对应的运行日志保存在哪里？
- MRS的Storm集群提交任务时如何指定日志路径？
- 如何检查Yarn的ResourceManager配置是否正常？
- 如何修改Clickhouse服务的allow_drop_detached配置项?
- 执行Spark任务报内存不足告警如何处理？
- ClickHouse系统表日志过大，如何添加定期删除策略？
- 如何获取Spark Jar包？
- 修改hdfs-site.xml文件后未及时重启NameNode导致产生告警如何处理？
- SparkSQL访问Hive分区表启动Job前耗时较长如何处理？
- spark.yarn.executor.memoryOverhead设置不生效如何处理？
- 如何修改ClickHouse服务时区？
- 连接ClickHouse服务端异常报错“code: 516”如何处理？
more
