文档首页/ MapReduce服务 MRS/ 故障排除/ 使用Spark/ 运行中的Spark作业打不开SparkUI界面
更新时间:2026-04-07 GMT+08:00
分享

运行中的Spark作业打不开SparkUI界面

问题现象

MRS集群中的Spark作业运行期间,在Yarn WebUI界面访问SparkUI无法跳转,页面长时间加载中。

作业运行结束后,SparkUI可以正常访问。

原因分析

这种情况通常是由于Driver异常导致的,优先检查Driver的GC日志,很可能会看到频繁Full GC的日志。

处理步骤

  1. Driver内存不足,频繁Full GC导致打不开SparkUI,建议通过调整“spark.driver.memory”参数增大Driver内存。
  2. 检查上层业务代码是否存在不合理情况,例如以下场景:

    1. 有调用collect()、show()之类的算子,这些算子会把集群内所有数据都抽取到Driver内存。
    2. 在select大表或者大分区的时候,没有加限制条件,导致数据量过大。

相关文档