更新时间:2024-07-11 GMT+08:00
大字段过滤
DRS支持大字段过滤功能,通过设置字段的过滤阈值和替换字符,对同步对象表中的特殊字段(blob、mediumblob、longblob、varbinary、mediumtext、longtext)进行处理。
约束限制
- 目前仅支持引擎为MySQL->Kafka、GaussDB(for MySQL)->Kafka的任务进行大字段过滤。
- 创建任务时,用户可以在对象选择选择大字段过滤。任务启动后,可通过任务列表“操作”列的“大字段过滤”按钮进行设置。
- 对于失败状态的任务,设置完之后需要手动续传或重置使设置生效。
操作步骤
- 在“实时同步管理”页面,选择需要设置的任务,单击操作列的 。
图1 任务列表
- 在“大字段过滤”对话框中,选择是否使用大字段过滤功能,对同步对象表中的特殊字段(blob、mediumblob、longblob、varbinary、mediumtext、longtext)做处理。
- 过滤:需要设置字段过滤阈值和替换字符,当字段的内容大小超过设定的阈值时,将按照指定的字符进行内容替换。需要注意的是,大字段过滤功能是将字段的内容进行替换,并不是替换整个DML记录。如果一条DML记录中有很多大字段,这些字段只有部分字段的内容大小超过设置的过滤阈值,其他未超过过滤阈值的字段内容的累加值大于request.max.size的值,写入到Kafka的过程中仍然可能会超过目标Kafka的消息体上限,从而导致DRS报错。
- 不过滤:不对大字段进行过滤。
图2 大字段过滤
- 设置完成后,单击“确认”。
对于失败状态的任务,设置完之后需要手动续传或重置使设置生效。
父主题: 任务生命周期