更新时间:2024-08-16 GMT+08:00

清理Loader作业残留历史数据

本章节适用于MRS 3.2.0及之后版本。

操作场景

在业务不断运行中,Loader会积累大量的历史数据,这些历史数据可能会对作业提交、作业运行、作业状态获取等产生影响,严重时可能导致页面访问卡顿,作业运行失败等,所以需要根据具体Loader业务数据量,合理配置历史数据清理机制。

操作步骤

  1. 登录FusionInsight Manager。
  2. 选择“集群 > 服务 > Loader > 配置 > 全部配置 > LoaderServer(角色) > 清除”出现如下图所示配置项,可参考表1调整以下参数配置。

    表1 清除Loader历史数据参数

    参数名称

    描述

    推荐修改值

    loader.submission.purge.interval

    清理任务被调用的时间间隔(分钟)。

    60

    loader.submission.purge.limited

    清除时保持的提交数,可以避免作业历史记录被清理干净。

    0

    loader.submission.purge.record.max

    Loader作业最大可保留的记录数(条),0表示不限制。

    7

    loader.submission.purge.threshold

    历史记录可以保存的时间(小时)。

    24

  3. 配置完成后,单击“保存”。
  4. 单击“概览”进入Loader服务概览界面,选择“更多 > 重启服务”,验证用户身份后,单击“确定”,等待重启成功。