更新时间:2025-08-06 GMT+08:00
分享

DCS同步DCS

约束与限制

  • 当前DCS的专业版事件流作业需开通白名单,使用前请提交工单申请。
  • 源端选择“DCS实例”场景约束与限制:
    • 仅支持Redis 5.0版本的单机、主备和Cluster集群。
    • 源端和目标端Redis实例的实例规格、实例类型、存储空间需保持一致,否则不支持同步事件流。
    • 源端和目标端Redis实例需要打开eventLog配置、关闭appendonly(Redis单机实例无该参数)配置。
    • 确保源端和目标端Redis实例已关闭客户端的IP透传功能。
  • 源端选择“DCS地址”场景约束与限制:
    • 源端仅支持Redis 4.0、5.0、6.0版本单机、主备和Cluster集群,目标端仅支持DCS服务的Redis 5.0版本单机、主备和Cluster集群类型实例。
    • 如果源端Redis禁用了SYNC和PSYNC命令,请务必放通后再执行同步,否则会导致同步失败。
    • 如果源端为DCS的Redis实例,需要配置eventlog参数为no;目标端Redis实例需要配置eventlog参数为no。
    • 建议将源端Redis的repl-timeout参数配置为300秒,client-output-buffer-limit参数配置为源端Redis最大内存的20%。
    • 开启了SSL的源端和目标端Redis不支持数据同步,需要关闭Redis的SSL后再进行同步。
    • 如果源端和目标端Redis连接密码中包含单引号('),则不支持进行同步,需要修改密码后再进行同步。
    • 如果是支持多DB的Redis同步,请确保目标端的DB数量可支持源端有数据的最大DB序号。例如,源端有DB0到DB127,有数据最大DB序号为DB99,则目标端需要有100个DB及以上。

前提条件

  • 已有源源端和目标端Redis实例。
  • 确保DCS、VPC、子网等资源充足,创建VPC和子网的操作指导请参考创建虚拟私有云和子网
  • 确保目标端Redis实例没有写入过命令。
  • 确保源端和目标端Redis实例与EG间网络互通。

操作步骤

  1. 登录事件网格控制台
  2. 在左侧导航栏选择“事件流>专业版事件流作业”,进入“专业版事件流作业”页面。
  3. 右上角单击“创建作业”,进入“基础配置”。
  4. 配置“基本配置”信息。

    表1 作业基本配置参数说明

    参数

    说明

    集群

    选择已创建的集群,如未创建,请参见专业版事件流集群

    作业名称

    请输入作业名称。

    场景类型

    默认选择“同步”场景。

    实现数据源之间的数据实时同步。

    描述

    请输入对本作业的描述。

  5. 单击“下一步:源和目标对象配置”,进入“源和目标对象配置”页面。

    表2 源数据和目标数据配置参数说明

    参数

    说明

    配置类型

    选择配置类型,源数据端可选择“DCS实例”或“DCS地址”。目标数据端默认为“DCS实例”。

    区域

    请选择资源所在区域。

    项目

    请选择项目。

    DCS实例

    请选择DCS实例。

    实例类型

    当“配置类型”选择“DCS地址”时,源数据端需配置。

    选择实例类型。

    • 单机
    • 主备
    • Cluster集群

    DCS地址

    当“配置类型”选择“DCS地址”时,源数据端需配置。

    输入DCS地址。

    访问方式

    当“配置类型”选择“DCS地址”时,源数据端需配置。

    选择访问方式。

    • 密码访问。
    • 免密访问。

    用户名

    当“配置类型”选择“DCS地址”时,源数据端需配置。

    输入DCS用户名。

    密码

    输入DCS密码。

  6. 单击“测试连通性”按钮确认源端、目标端实例连通性通过之后,单击“下一步:高级配置”,进入“高级配置”页面。

    表3 当“配置类型”选择“DCS实例”时配置参数说明

    参数

    说明

    同步类型

    默认为“全量+增量”。

    是否限制同步速率

    默认开启。

    同步速率(MB/s)

    请设置同步速率。

    输入值必须在1到20之间。

    使用Slave节点

    默认开启。

    表4 当“配置类型”选择“DCS地址”时配置参数说明

    参数

    说明

    同步类型

    默认为“全量+增量”。

    重试策略

    选择重试策略。

    立即重试:巡检任务发现任务出错后立即尝试重试。

    定时重试:巡检任务发现任务错后,在指定时间窗内尝试重试。

    限制无法连接后的重试时间

    重试策略选择“立即重试”时需配置。

    开启时可设置无法连接后的重试时间,关闭时出现无法连接问题后将一直重试。

    无法连接后的重试时间(分)

    重试策略选择“立即重试”时需配置。

    配置无法连接后的重试时间。

    限制出现其他问题后的重试时间

    重试策略选择“立即重试”时需配置。

    开启时可设置出现其他问题后的重试时间,关闭时出现其他问题后将一直重试。

    出现其他问题后的重试时间(分)

    重试策略选择“立即重试”时需配置。

    配置出现其他问题后的重试时间。

    无法连接后的重试开始时间

    重试策略选择“定时重试”时需配置。

    配置无法连接后的重试开始时间。

    无法连接后的重试结束时间

    重试策略选择“定时重试”时需配置。

    配置无法连接后的重试结束时间。

    出现其他问题后的重试开始时间

    重试策略选择“定时重试”时需配置。

    配置出现其他问题后的重试开始时间。

    出现其他问题后的重试结束时间

    重试策略选择“定时重试”时需配置。

    配置出现其他问题后的重试结束时间。

    使用Slave节点

    默认开启。

    • 源端选择“DCS地址”类型的同步任务,在启动后,若事件流集群到源端或目标端实例出现连接失败问题,支持按照配置策略进行重试操作。如果在配置的时间内重新连接上源端、目标端实例,同步任务将自动恢复。否则,同步任务将失败。

      连接问题可能出现的场景举例:

      1. 源端或者目标端实例下电、关机、重启等;
      2. 事件流集群到源端或者目标端实例的网络连接异常;
      3. 源端或者目标端节点或者分片故障,无法对外提供访问。
    • 源端选择“DCS地址”类型的同步任务,在启动后,若源端或目标端实例出现除连接失败外的其他问题,支持按照配置策略进行重试操作。如果在配置的时间内数据同步操作恢复正常,同步任务将自动恢复。否则,同步任务将失败。

      非连接问题可能出现的场景举例:

      1. 源端未开启psync;
      2. 源端当前状态无法同步数据,如源端重启后初始化加载RDB阶段;
      3. 源端Redis命令同步失败,如源端Redis命令在目的端上不支持;
      4. 源端或者目标端密码修改。

  7. 单击“下一步:预检查”,进入“预检查”页面,完成后单击“完成配置”。
  8. 返回专业版事件流作业列表,单击刚才创建的事件流名称,进入“基本信息”页面,选择“作业管理”,可以查看“同步进展详情”。

    表5 参数说明

    参数名称

    说明

    源节点

    源数据中DCS实例的地址。

    目标节点

    目标数据中DCS实例的地址。

    状态

    DCS事件流同步进展执行情况。

    同步进度(%)

    DCS事件流同步进展执行进度。

    同步阶段

    分为全量、增量和全量+增量。

    源端已执行事务数

    源端的数据数量。

    目标端已执行事务数

    目标端同步后的数据数量。

相关文档