大字段过滤

约束限制

• 目前仅支持引擎为MySQL->Kafka、GaussDB(for MySQL)->Kafka的任务进行大字段过滤。
• 创建任务时，用户可以在对象选择选择大字段过滤。任务启动后，可通过任务列表“操作”列的“大字段过滤”按钮进行设置。
• 对于失败状态的任务，设置完之后需要手动续传或重置使设置生效。

操作步骤

1. 在“实时同步管理”页面，选择需要设置的任务，单击操作列的“更多 > 大字段过滤”。
   图1 任务列表
   

2. 在“大字段过滤”对话框中，选择是否使用大字段过滤功能，对同步对象表中的特殊字段（blob、mediumblob、longblob、varbinary、mediumtext、longtext）做处理。
   • 过滤：需要设置字段过滤阈值和替换字符，当字段的内容大小超过设定的阈值时，将按照指定的字符进行内容替换。需要注意的是，大字段过滤功能是将字段的内容进行替换，并不是替换整个DML记录。如果一条DML记录中有很多大字段，这些字段只有部分字段的内容大小超过设置的过滤阈值，其他未超过过滤阈值的字段内容的累加值大于request.max.size的值，写入到Kafka的过程中仍然可能会超过目标Kafka的消息体上限，从而导致DRS报错。
   • 不过滤：不对大字段进行过滤。
     图2 大字段过滤
     

3. 设置完成后，单击“确认”。

   对于失败状态的任务，设置完之后需要手动续传或重置使设置生效。