为什么MRS Console页面Flink作业状态与Yarn上的作业状态不一致?
问:
为什么MRS Console页面Flink作业状态与Yarn上的作业状态不一致?
答:
为了节约存储空间,用户修改了Yarn的配置项yarn.resourcemanager.max-completed-applications,减小yarn上历史作业的记录保存个数。由于Flink是长时作业,在yarn上realJob还在运行,但launcherJob已经被删除,导致因从Yarn上查不到launcherJob,从而更新作业状态失败。
终止找不到launcherJob的作业,后续提交的作业状态就会更新。