mrs
- 开发指南(适用于2.x及之前)
- 简介
- MapReduce服务样例工程构建方式
- HBase应用开发
- Hive应用开发
- MapReduce应用开发
- HDFS应用开发
- Spark应用开发
- 概述
- 环境准备
- 开发程序
- 调测程序
- 调优程序
- Spark接口
- FAQ
- 如何添加自定义代码的依赖包
- 如何处理自动加载的依赖包
- 运行SparkStreamingKafka样例工程时报“类不存在”问题
- 执行Spark Core应用,尝试收集大量数据到Driver端,当Driver端内存不足时,应用挂起不退出
- Spark应用名在使用yarn-cluster模式提交时不生效
- 如何采用Java命令提交Spark应用
- SparkSQL UDF功能的权限控制机制
- 由于kafka配置的限制,导致Spark Streaming应用运行失败
- 如何使用IDEA远程调试
- 使用IBM JDK产生异常,提示“Problem performing GSS wrap”信息
- Structured Streaming的cluster模式,在数据处理过程中终止ApplicationManager,应用失败
- Spark on Yarn的client模式下spark-submit提交任务出现FileNotFoundException异常
- Spark任务读取HBase报错“had a not serializable result”
- 开发规范
- Storm应用开发
- Kafka应用开发
- Presto应用开发
- OpenTSDB应用开发
- Flink应用开发
- Impala应用开发
- Alluxio应用开发
- 附录
查看调测结果
链接复制成功!
更新时间:2020/12/15 GMT+08:00
操作场景
Spark应用程序运行完成后,您可以查看运行结果数据,也可以通过Spark WebUI查看应用程序运行情况。
操作步骤
- 查看Spark应用运行结果数据。
结果数据存储路径和格式已经与Spark应用程序指定,您可以通过指定文件中获取到运行结果数据。
- 查看Spark应用程序运行情况。
Spark主要有两个Web页面。
- Spark UI页面,用于展示正在执行的应用的运行情况。
页面主要包括了Jobs、Stages、Storage、Environment、Executors和SQL等部分。Streaming应用会多一个Streaming标签页。
页面入口:请参考登录MRS Manager登录MRS Manager页面,选择“服务管理 > Yarn”,单击“ResourceManager Web UI”对应的“ResourceManager”进入Web界面,查找到对应的Spark应用程序。单击应用信息的最后一列“ApplicationMaster”,即可进入Spark UI页面。
- History Server页面,用于展示已经完成的和未完成的Spark应用的运行情况。
页面包括了应用ID、应用名称、开始时间、结束时间、执行时间、所属用户等信息。
页面入口:请参考登录MRS Manager登录MRS Manager页面,选择“服务管理 > Spark”,单击“Spark Web UI”对应的“JobHistory”进入Web界面。
- Spark UI页面,用于展示正在执行的应用的运行情况。
- 查看Spark日志获取应用运行情况。
您可以查看Spark日志了解应用运行情况,并根据日志信息调整应用程序。
父主题: 调测程序
