重启YARN,本地日志不被删除
问题
在以下两种情况下重启YARN,本地日志不会被定时删除,将被永久保留。
- 在任务运行过程中,重启YARN,本地日志不被删除。
- 在任务完成,日志归集失败后定时清除日志前,重启YARN,本地日志不被删除。
回答
NodeManager有重启恢复机制,详情请参见:
可以参考修改集群服务配置参数,进入Yarn“全部配置”页面。需将NodeManager的“yarn.nodemanager.recovery.enabled”配置项为“true”后才生效,默认为“true”,这样在YARN重启的异常场景时会定时删除多余的本地日志,避免问题的出现。