更新时间:2023-04-27 GMT+08:00
分享

配置任务运行残留信息清理

操作场景

Flink任务异常停止时会在ZooKeeper、HDFS中残留目录,开启FlinkServer目录残留清理功能可以清理残留目录。

前提条件

集群已安装FlinkServer实例并运行正常。

配置步骤

  1. 登录Manager页面。
  2. 选择“集群 > 服务 > Flink > 配置 > 全部配置”,搜索参数“ClearUpEnabled”并将值设置为“true”开启目录残留清理功能,相关参数详情请见表1

    表1 FlinkServer目录残留清理参数

    参数

    描述

    默认值

    取值范围

    ClearUpEnabled

    FlinkServer是否开启目录残留清理功能。

    true

    true、false

    ClearUpPeriod

    FlinkServer残留目录清理周期。单位:分钟

    1440

    1440~2147483647

    TrashDirectoryRetentionPeriod

    FlinkServer保留残留目录的周期。单位:分钟

    10080

    10080~2147483647

  3. 配置完成后,单击左上角“保存”并确定保存。

    • 该特性只会清理ZooKeeper的“/flink_base”目录和HDFS的“/flink/recovery”目录下的残留目录,用户自定义修改的目录不会清理。
    • HDFS中的“checkpoints”目录需用户手动删除,该特性不会删除。

分享:

    相关文档

    相关产品