运行中的Spark作业打不开SparkUI界面
问题现象
MRS集群中的Spark作业运行期间,在Yarn WebUI界面访问SparkUI无法跳转,页面长时间加载中。
作业运行结束后,SparkUI可以正常访问。

原因分析
这种情况通常是由于Driver异常导致的,优先检查Driver的GC日志,很可能会看到频繁Full GC的日志。

处理步骤
- Driver内存不足,频繁Full GC导致打不开SparkUI,建议通过调整“spark.driver.memory”参数增大Driver内存。
- 检查上层业务代码是否存在不合理情况,例如以下场景:
- 有调用collect()、show()之类的算子,这些算子会把集群内所有数据都抽取到Driver内存。
- 在select大表或者大分区的时候,没有加限制条件,导致数据量过大。