更新时间:2024-05-20 GMT+08:00
分享

大字段过滤

DRS支持大字段过滤功能,通过设置字段的过滤阈值和替换字符,对同步对象表中的特殊字段(blob、mediumblob、longblob、varbinary、mediumtext、longtext)进行处理。

约束限制

  • 目前仅支持引擎为MySQL->Kafka、GaussDB(for MySQL)->Kafka的任务进行大字段过滤。
  • 创建任务时,用户可以在对象选择选择大字段过滤。任务启动后,可通过任务列表“操作”列的“大字段过滤”按钮进行设置。
  • 对于失败状态的任务,设置完之后需要手动续传或重置使设置生效。

操作步骤

  1. “实时同步管理”页面,选择需要设置的任务,单击操作列的更多 > 大字段过滤

    图1 任务列表

  2. 在“大字段过滤”对话框中,选择是否使用大字段过滤功能,对同步对象表中的特殊字段(blob、mediumblob、longblob、varbinary、mediumtext、longtext)做处理。

    • 过滤:需要设置字段过滤阈值和替换字符,当字段的内容大小超过设定的阈值时,将按照指定的字符进行内容替换。需要注意的是,大字段过滤功能是将字段的内容进行替换,并不是替换整个DML记录。如果一条DML记录中有很多大字段,这些字段只有部分字段的内容大小超过设置的过滤阈值,其他未超过过滤阈值的字段内容的累加值大于request.max.size的值,写入到Kafka的过程中仍然可能会超过目标Kafka的消息体上限,从而导致DRS报错。
    • 不过滤:不对大字段进行过滤。
      图2 大字段过滤

  3. 设置完成后,单击“确认”。

    对于失败状态的任务,设置完之后需要手动续传或重置使设置生效。

分享:

    相关文档

    相关产品