executor内存不足导致查询性能下降
现象描述
在不同的查询周期内运行查询功能,查询性能会有起伏。
可能原因
在处理数据加载时,为每个executor程序实例配置的内存不足,可能会产生更多的Java GC(垃圾收集)。当GC发生时,会发现查询性能下降。
定位思路
在Spark UI上,会发现某些executors的GC时间明显比其他executors高,或者所有的executors都表现出高GC时间。
处理步骤
登录Manager页面,选择“集群 > 服务 > Spark2x > 配置 > 全部配置”,在搜索框搜索“spark.executor.memory”,通过参数“spark.executor.memory”配置更高的内存值。
参考信息
无。