文档首页 > > 开发指南> Spark应用开发> 调测程序> 查看调测结果

查看调测结果

分享
更新时间: 2020/07/22 GMT+08:00

操作场景

Spark应用程序运行完成后,您可以查看运行结果数据,也可以通过Spark WebUI查看应用程序运行情况。

操作步骤

  • 查看Spark应用运行结果数据。

    结果数据存储路径和格式已经与Spark应用程序指定,您可以通过指定文件中获取到运行结果数据。

  • 查看Spark应用程序运行情况。

    Spark主要有两个Web页面。

    • Spark UI页面,用于展示正在执行的应用的运行情况。

      页面主要包括了Jobs、Stages、Storage、Environment、Executors和SQL等部分。Streaming应用会多一个Streaming标签页。

      页面入口:登录MRS Manager页面,选择服务管理 > Yarn,单击“ResourceManager Web UI”对应的“ResourceManager”进入Web界面,查找到对应的Spark应用程序。单击应用信息的最后一列“ApplicationMaster”,即可进入Spark UI页面。

    • History Server页面,用于展示已经完成的和未完成的Spark应用的运行情况。

      页面包括了应用ID、应用名称、开始时间、结束时间、执行时间、所属用户等信息。

      页面入口:登录MRS Manager页面,选择服务管理 > Spark,单击“Spark Web UI”对应的“JobHistory”进入Web界面。

  • 查看Spark日志获取应用运行情况。

    您可以查看Spark日志了解应用运行情况,并根据日志信息调整应用程序。

分享:

    相关文档

    相关产品

文档是否有解决您的问题?

提交成功!

非常感谢您的反馈,我们会继续努力做到更好!

反馈提交失败,请稍后再试!

*必选

请至少选择或填写一项反馈信息

字符长度不能超过200

提交反馈 取消

如您有其它疑问,您也可以通过华为云社区问答频道来与我们联系探讨

智能客服提问云社区提问