查看Spark应用调测结果

操作场景

Spark应用程序运行完成后，您可以查看运行结果数据，也可以通过Spark WebUI查看应用程序运行情况。

操作步骤

• 查看Spark应用运行结果数据。

  结果数据存储路径和格式已经与Spark应用程序指定，您可以通过指定文件中获取到运行结果数据。

• 查看Spark应用程序运行情况。

  Spark主要有两个Web页面。

  • Spark UI页面，用于展示正在执行的应用的运行情况。

    页面主要包括了Jobs、Stages、Storage、Environment、Executors和SQL等部分。Streaming应用会多一个Streaming标签页。

    页面入口：请参考登录MRS Manager登录MRS Manager页面，选择“服务管理 > Yarn”，单击“ResourceManager Web UI”对应的“ResourceManager”进入Web界面，查找到对应的Spark应用程序。单击应用信息的最后一列“ApplicationMaster”，即可进入Spark UI页面。

  • History Server页面，用于展示已经完成的和未完成的Spark应用的运行情况。

    页面包括了应用ID、应用名称、开始时间、结束时间、执行时间、所属用户等信息。

    页面入口：请参考登录MRS Manager登录MRS Manager页面，选择“服务管理 > Spark”，单击“Spark Web UI”对应的“JobHistory”进入Web界面。

• 查看Spark日志获取应用运行情况。

  您可以查看Spark日志了解应用运行情况，并根据日志信息调整应用程序。