更新时间:2024-11-29 GMT+08:00

配置任务运行残留信息清理

操作场景

Flink任务异常停止时会在ZooKeeper、HDFS中残留目录,开启FlinkServer目录残留清理功能可以清理残留目录。

前提条件

集群已安装FlinkServer实例并运行正常。

配置步骤

  1. 登录Manager页面。
  2. 选择“集群 > 服务 > Flink > 配置 > 全部配置”,搜索参数“ClearUpEnabled”并将值设置为“true”开启目录残留清理功能,相关参数详情请见表1

    表1 FlinkServer目录残留清理参数

    参数

    描述

    默认值

    取值范围

    ClearUpEnabled

    FlinkServer是否开启目录残留清理功能。

    true

    true、false

    ClearUpPeriod

    FlinkServer残留目录清理周期。单位:分钟

    1440

    1440~2147483647

    TrashDirectoryRetentionPeriod

    FlinkServer保留残留目录的周期。单位:分钟

    10080

    10080~2147483647

    ClearUpCheckpointsPeriod

    FlinkServer保留Checkpoints目录的周期。单位:分钟。

    10080

    10080~2147483647

    obsBucketName

    若要清理OBS上“/flink/checkpoints”目录,需要配置FlinkServer清理Checkpoints的OBS桶名。

    -

    -

  3. 配置完成后,单击左上角“保存”并确定保存。在“概览”页签,选择“更多 > 重启服务”,根据提示重启Flink服务。

    该特性只会清理ZooKeeper的“/flink_base”目录和HDFS的“/flink/recovery”、“/flink/checkpoints”目录下的残留目录,用户自定义修改的目录不会清理。