更新时间:2025-07-14 GMT+08:00
重启YARN,如何设置本地日志不被删除
问题
在以下两种情况下重启YARN,本地日志不会被定时删除,将被永久保留。
- 在任务运行过程中,重启YARN,本地日志不被删除。
- 在任务完成,日志归集失败后定时清除日志前,重启YARN,本地日志不被删除。
回答
NodeManager支持重启恢复机制,详情请参见:
MRS 3.2.0之前版本:https://hadoop.apache.org/docs/r3.1.1/hadoop-yarn/hadoop-yarn-site/NodeManager.html#NodeManager_Restart
MRS 3.2.0及之后版本:https://hadoop.apache.org/docs/r3.3.1/hadoop-yarn/hadoop-yarn-site/NodeManager.html#NodeManager_Restart
可以参考以下操作将NodeManager的“yarn.nodemanager.recovery.enabled”配置项为“true”后才生效,默认为“true”,这样在YARN重启的异常场景时会定时删除多余的本地日志,避免问题的出现。
- 登录FusionInsight Manager。
登录集群Manager具体操作,请参考访问MRS集群Manager。
- 选择“集群 > 服务 > Yarn > 配置 > 全部配置”。
- 搜索“yarn.nodemanager.recovery.enabled”参数,并修改参数值为“true”。
该参数表示当Nodemanager重启时是否启用日志失败收集功能,是否恢复未完成的Application。默认值为“true”。
- 保存修改的配置。保存完成后请重新启动配置过期的服务或实例以使配置生效。
父主题: Yarn常见问题