更新时间:2022-07-14 GMT+08:00
分享

查看调测结果

操作场景

Spark应用程序运行完成后,可通过如下方式查看应用程序的运行情况。

  • 通过运行结果数据查看应用程序运行情况。
  • 登录Spark WebUI查看应用程序运行情况。
  • 通过Spark日志获取应用程序运行情况。

操作步骤

  • 查看Spark应用运行结果数据。

    结果数据存储路径和格式已经由Spark应用程序指定,可通过指定文件获取。

  • 查看Spark应用程序运行情况。

    Spark主要有两个Web页面。

    • Spark UI页面,用于展示正在执行的应用的运行情况。

      页面主要包括了Jobs、Stages、Storage、Environment和Executors五个部分。Streaming应用会多一个Streaming标签页。

      页面入口:在YARN的Web UI界面,查找到对应的Spark应用程序。单击应用信息的最后一列“ApplicationMaster”,即可进入SparkUI页面。

    • History Server页面,用于展示已经完成的和未完成的Spark应用的运行情况。

      页面包括了应用ID、应用名称、开始时间、结束时间、执行时间、所属用户等信息。单击应用ID,页面将跳转到该应用的SparkUI页面。

  • 查看Spark日志获取应用运行情况。

    您可以查看Spark日志了解应用运行情况,并根据日志信息调整应用程序。相关日志信息可参考Spark2x日志介绍

分享:

    相关文档

    相关产品