更新时间:2022-12-14 GMT+08:00
Flink任务运行残留信息清理
操作场景
Flink任务异常停止时会在ZooKeeper、HDFS中残留目录,开启FlinkServer目录残留清理功能可以清理残留目录。
前提条件
集群已安装FlinkServer实例并运行正常。
配置步骤
- 登录Manager。
- 选择“集群 > 服务 > Flink > 配置 > 全部配置”,搜索参数“ClearUpEnabled”并将值设置为“true”开启目录残留清理功能,相关参数详情请见表1。
- 配置完成后,单击左上角“保存”并确定保存。
- 该特性只会清理ZooKeeper的“/flink_base”目录和HDFS的“/flink/recovery”目录下的残留目录,用户自定义修改的目录不会清理。
- HDFS中的“checkpoints”目录需用户手动删除,该特性不会删除。
父主题: 使用Flink