更新时间:2024-10-16 GMT+08:00
分享

创建DRS同步任务

本章节介绍创建DRS实例,将RDS for MySQL上的数据库增量同步到Kafka。

同步前检查

在创建任务前,需要针对同步条件进行手工自检,以确保您的同步任务更加顺畅。

本示例中,为RDS for MySQL到Kafka的出云同步,您可以参考出云同步使用须知获取相关信息。

操作步骤

  1. 登录华为云控制台
  2. 单击管理控制台左上角的,选择区域“华南-广州”。
  3. 单击左侧的服务列表图标,选择数据库 > 数据复制服务 DRS
  4. 选择左侧“实时同步管理”,单击“创建同步任务”。
  5. 填写同步任务参数:

    1. 配置同步任务名称。

    2. 选择需要同步任务的源库、目标数据库以及网络信息。

      这里的源库选择源端RDS for MySQL准备创建的RDS实例。

    3. 企业项目选择“default”。

  6. 单击“开始创建”。

    同步实例创建中,大约需要5-10分钟。

  7. 配置源库信息和目标库数据库密码。

    1. 配置源库信息。
    2. 单击“测试连接”。

      当界面显示“测试成功”时表示连接成功。

    3. 选择目标库所在VPC和子网,填写Kafka的IP地址和端口。
    4. 单击“测试连接”。

      当界面显示“测试成功”时表示连接成功。

  8. 单击“下一步”。
  9. 选择同步信息、策略、消息格式和对象等,投递到Kafka的消息格式。

    本次选择如下。

    表1 同步设置

    类别

    设置

    同步Topic策略

    集中投递到一个Topic,Topic名称“testTopic”。

    同步到Kafka partition策略

    按表名+库名的hash值投递到不同Partition。

    投递到Kafka的数据格式

    可选择JSON格式,可参考Kafka消息格式

    同步对象

    同步对象选择db_test下的table3_表。

  10. 单击“下一步”。
  11. 选择数据加工方式。RDS for MySQL到Kafka数据同步目前只支持列加工,列加工提供列级的查询和过滤能力。

  12. 单击“下一步”,等待预检查结果。
  13. 当所有检查都是“通过”时,单击"下一步”。

  14. 确认同步任务信息正确后,单击“启动任务”。

    返回DRS实时同步管理,查看同步任务状态。

    启动中状态一般需要几分钟,请耐心等待。

    当状态变更为“增量同步”,表示同步任务已启动。

    • 当前示例中RDS for MySQL到Kafka选择单增量同步,任务启动后为增量同步状态。
    • 如果创建的任务为全量+增量同步,任务启动后先进入全量同步,全量数据同步完成后进入增量同步状态。
    • 增量同步会持续性同步增量数据,不会自动结束。

相关文档