更新时间:2023-03-17 GMT+08:00

访问Spark Web UI界面

Spark Web UI界面主要用于查看Spark应用程序运行情况,推荐使用Google chrome浏览器以获得更好的体验。

Spark主要有两个Web页面。

  • Spark UI页面,用于展示正在执行的应用的运行情况。

    页面主要包括了Jobs、Stages、Storage、Environment、Executors、SQL、JDBC/ODBC Server等部分。Streaming应用会多一个Streaming标签页。

  • History Server页面,用于展示已经完成的和未完成的Spark应用的运行情况。

    页面包括了应用ID、应用名称、开始时间、结束时间、执行时间、所属用户等信息。

Spark UI

  1. 进入组件管理页面:

    • MRS 3.x之前版本,单击集群名称,登录集群详情页面,选择“组件管理”。

      若集群详情页面没有“组件管理”页签,请先完成IAM用户同步(在集群详情页的“概览”页签,单击“IAM用户同步”右侧的“同步”进行IAM用户同步)。

    • MRS 3.x及后续版本,登录FusionInsight Manager,具体请参见访问FusionInsight Manager(MRS 3.x及之后版本)。然后选择“集群 > 待操作的集群名称 > 服务 ”。

  2. 选择“Yarn”并在“Yarn 概述”“ResourceManager Web UI”中单击“ResourceManager Web UI”对应的“ResourceManager”进入Web界面。
  3. 查找到对应的Spark应用程序,单击应用信息的最后一列“ApplicationMaster”,即可进入Spark UI页面。

    图1 ApplicationMaster
    图2 Spark UI页面

History Server

  1. 进入组件管理页面:

    • MRS 3.x之前版本,单击集群名称,登录集群详情页面,选择“组件管理”。

      若集群详情页面没有“组件管理”页签,请先完成IAM用户同步(在集群详情页的“概览”页签,单击“IAM用户同步”右侧的“同步”进行IAM用户同步)。

    • MRS 3.x及后续版本,登录FusionInsight Manager,具体请参见访问FusionInsight Manager(MRS 3.x及之后版本)。然后选择“集群 > 待操作的集群名称 > 服务 ”。

  2. 选择“Spark”并在“Spark 概述”“Spark Web UI”中单击“Spark Web UI”对应的“JobHistory”进入Web界面。

    图3 Spark History Server