更新时间:2024-07-12 GMT+08:00
创建DRS同步任务
本章节介绍创建DRS实例,将RDS for MySQL上的数据库增量同步到Kafka。
操作步骤
- 登录华为云控制台。
- 单击管理控制台左上角的,选择区域“亚太-新加坡”。
- 单击左侧的服务列表图标,选择 。
- 选择左侧“实时同步管理”,单击“创建同步任务”。
- 填写同步任务参数:
- 配置同步任务名称。
- 选择需要同步任务的源库、目标数据库以及网络信息。
这里的源库选择源端RDS for MySQL准备创建的RDS实例。
- 企业项目选择“default”。
- 单击“开始创建”。
同步实例创建中,大约需要5-10分钟。
- 配置源库信息和目标库数据库密码。
- 单击“下一步”。
- 选择同步信息、策略、消息格式和对象等,投递到Kafka的消息格式。
本次选择如下。
表1 同步设置 类别
设置
同步Topic策略
集中投递到一个Topic,Topic名称“testTopic”。
同步到Kafka partition策略
按表名+库名的hash值投递到不同Partition。
投递到Kafka的数据格式
可选择JSON格式,可参考Kafka消息格式。
同步对象
同步对象选择db_test下的table3_表。
- 单击“下一步”。
- 选择数据加工方式。RDS for MySQL到Kafka数据同步目前只支持列加工,列加工提供列级的查询和过滤能力。
- 单击“下一步”,等待预检查结果。
- 当所有检查都是“通过”时,单击"下一步”。
- 确认同步任务信息正确后,单击“启动任务”。
返回DRS实时同步管理,查看同步任务状态。
启动中状态一般需要几分钟,请耐心等待。
当状态变更为“增量同步”,表示同步任务已启动。
- 当前示例中RDS for MySQL到Kafka选择单增量同步,任务启动后为增量同步状态。
- 如果创建的任务为全量+增量同步,任务启动后先进入全量同步,全量数据同步完成后进入增量同步状态。
- 增量同步会持续性同步增量数据,不会自动结束。