文档首页/ MapReduce服务 MRS/ 用户指南（吉隆坡区域）/ MRS集群组件操作指导/ 使用Spark2x/ Spark2x常见问题/ 访问Spark应用获取的restful接口信息有误
更新时间：2023-03-17 GMT+08:00
查看PDF
分享

访问Spark应用获取的restful接口信息有误

问题

当Spark应用结束后，访问该应用的restful接口获取job信息，发现job信息中“numActiveTasks”的值是负数，如图1所示。

图1 job信息

numActiveTasks是指当前正在运行task的个数。

回答

通过下面两种途径获取上面的job信息：
  • 配置spark.history.briefInfo.gather=true，查看JobHistory的brief信息。
  • 使用Spark JobHistory2x页面访问：https://IP:port/api/v1/<appid>/jobs/。

job信息中“numActiveTasks”的值是根据eventlog文件中SparkListenerTaskStart和SparkListenerTaskEnd事件的个数的差值计算得到的。如果eventLog文件中有事件丢失，就可能出现上面的现象。

父主题： Spark2x常见问题