更新时间:2024-11-29 GMT+08:00
配置任务运行残留信息清理
操作场景
Flink任务异常停止时会在ZooKeeper、HDFS中残留目录,开启FlinkServer目录残留清理功能可以清理残留目录。
前提条件
集群已安装FlinkServer实例并运行正常。
配置步骤
- 登录Manager页面。
- 选择“集群 > 服务 > Flink > 配置 > 全部配置”,搜索参数“ClearUpEnabled”并将值设置为“true”开启目录残留清理功能,相关参数详情请见表1。
表1 FlinkServer目录残留清理参数 参数
描述
默认值
取值范围
ClearUpEnabled
FlinkServer是否开启目录残留清理功能。
true
true、false
ClearUpPeriod
FlinkServer残留目录清理周期。单位:分钟
1440
1440~2147483647
TrashDirectoryRetentionPeriod
FlinkServer保留残留目录的周期。单位:分钟
10080
10080~2147483647
ClearUpCheckpointsPeriod
FlinkServer保留Checkpoints目录的周期。单位:分钟。
10080
10080~2147483647
obsBucketName
若要清理OBS上“/flink/checkpoints”目录,需要配置FlinkServer清理Checkpoints的OBS桶名。
-
-
- 配置完成后,单击左上角“保存”并确定保存。在“概览”页签,选择“更多 > 重启服务”,根据提示重启Flink服务。
该特性只会清理ZooKeeper的“/flink_base”目录和HDFS的“/flink/recovery”、“/flink/checkpoints”目录下的残留目录,用户自定义修改的目录不会清理。
父主题: 使用Flink