MapReduce作业信息无法通过ResourceManager Web UI页面的Tracking URL打开
问题
MapReduce JobHistoryServer服务地址变更后,为什么运行完的MapReduce作业无法通过ResourceManager Web UI页面打开?
回答
JobHistoryServer地址(mapreduce.jobhistory.address / mapreduce.jobhistory.webapp.<https.>address)是MapReduce参数,MapReduce客户端提交作业时,会将此地址随任务一起提交给ResourceManager。ResourceManager在作业完成后,将此参数作为查看作业历史信息的跳转地址保存在RMStateStore中。
JobHistoryServer服务地址变更后,需要将新的服务地址及时更新到MapReduce客户端配置文件中,否则,新运行的作业在查看作业历史信息时,仍然会指向原JobHistoryServer地址,导致无法正常跳转到作业历史信息页面。服务地址变更前运行的MapReduce作业,由于其跳转信息已经保存在RMStateStore中,无法变更,因此从ResourceManager Web UI页面是无法进行正常跳转的,但可以直接访问新的JobHistoryServer服务地址进行查找,作业信息不会丢失。