更新时间:2024-08-01 GMT+08:00
分享

executor内存不足导致查询性能下降

现象描述

在不同的查询周期内运行查询功能,查询性能会有起伏。

可能原因

在处理数据加载时,为每个executor程序实例配置的内存不足,可能会产生更多的Java GC(垃圾收集)。当GC发生时,会发现查询性能下降。

定位思路

在Spark UI上,会发现某些executors的GC时间明显比其他executors高,或者所有的executors都表现出高GC时间。

处理步骤

登录Manager页面,选择“集群 > 服务 > Spark2x > 配置 > 全部配置”,在搜索框搜索“spark.executor.memory”,通过参数“spark.executor.memory”配置更高的内存值。

参考信息

无。

相关文档