文档首页/ MapReduce服务 MRS/ 用户指南（吉隆坡区域）/ MRS集群组件操作指导/ 使用Spark/ 访问Spark Web UI界面
更新时间：2023-03-17 GMT+08:00
查看PDF
分享

访问Spark Web UI界面

Spark Web UI界面主要用于查看Spark应用程序运行情况，推荐使用Google chrome浏览器以获得更好的体验。

Spark主要有两个Web页面。

  • Spark UI页面，用于展示正在执行的应用的运行情况。

    页面主要包括了Jobs、Stages、Storage、Environment、Executors、SQL、JDBC/ODBC Server等部分。Streaming应用会多一个Streaming标签页。

  • History Server页面，用于展示已经完成的和未完成的Spark应用的运行情况。

    页面包括了应用ID、应用名称、开始时间、结束时间、执行时间、所属用户等信息。

Spark UI

  1. 进入组件管理页面：

    • MRS 3.x之前版本，单击集群名称，登录集群详情页面，选择“组件管理”。

      若集群详情页面没有“组件管理”页签，请先完成IAM用户同步（在集群详情页的“概览”页签，单击“IAM用户同步”右侧的“同步”进行IAM用户同步）。

    • MRS 3.x及后续版本，登录FusionInsight Manager，具体请参见访问FusionInsight Manager（MRS 3.x及之后版本）。然后选择“集群 > 待操作的集群名称 > 服务 ”。

  2. 选择“Yarn”并在“Yarn 概述”中“ResourceManager Web UI”中单击“ResourceManager Web UI”对应的“ResourceManager”进入Web界面。
  3. 查找到对应的Spark应用程序，单击应用信息的最后一列“ApplicationMaster”，即可进入Spark UI页面。

    图1 ApplicationMaster
    图2 Spark UI页面

History Server

  1. 进入组件管理页面：

    • MRS 3.x之前版本，单击集群名称，登录集群详情页面，选择“组件管理”。

      若集群详情页面没有“组件管理”页签，请先完成IAM用户同步（在集群详情页的“概览”页签，单击“IAM用户同步”右侧的“同步”进行IAM用户同步）。

    • MRS 3.x及后续版本，登录FusionInsight Manager，具体请参见访问FusionInsight Manager（MRS 3.x及之后版本）。然后选择“集群 > 待操作的集群名称 > 服务 ”。

  2. 选择“Spark”并在“Spark 概述”中“Spark Web UI”中单击“Spark Web UI”对应的“JobHistory”进入Web界面。

    图3 Spark History Server

父主题： 使用Spark