DCS同步DCS
约束与限制
- 当前DCS的专业版事件流作业需开通白名单,使用前请提交工单申请。
- 源端选择“DCS实例”场景约束与限制:
- 仅支持Redis 5.0版本的单机、主备和Cluster集群。
- 源端和目标端Redis实例的实例规格、实例类型、存储空间需保持一致,否则不支持同步事件流。
- 源端和目标端Redis实例需要打开eventLog配置、关闭appendonly(Redis单机实例无该参数)配置。
- 确保源端和目标端Redis实例已关闭客户端的IP透传功能。
- 源端选择“DCS地址”场景约束与限制:
- 源端仅支持Redis 4.0、5.0、6.0版本单机、主备和Cluster集群,目标端仅支持DCS服务的Redis 5.0版本单机、主备和Cluster集群类型实例。
- 如果源端Redis禁用了SYNC和PSYNC命令,请务必放通后再执行同步,否则会导致同步失败。
- 如果源端为DCS的Redis实例,需要配置eventlog参数为no;目标端Redis实例需要配置eventlog参数为no。
- 建议将源端Redis的repl-timeout参数配置为300秒,client-output-buffer-limit参数配置为源端Redis最大内存的20%。
- 开启了SSL的源端和目标端Redis不支持数据同步,需要关闭Redis的SSL后再进行同步。
- 如果源端和目标端Redis连接密码中包含单引号('),则不支持进行同步,需要修改密码后再进行同步。
- 如果是支持多DB的Redis同步,请确保目标端的DB数量可支持源端有数据的最大DB序号。例如,源端有DB0到DB127,有数据最大DB序号为DB99,则目标端需要有100个DB及以上。
前提条件
- 已有源源端和目标端Redis实例。
- 确保DCS、VPC、子网等资源充足,创建VPC和子网的操作指导请参考创建虚拟私有云和子网。
- 确保目标端Redis实例没有写入过命令。
- 确保源端和目标端Redis实例与EG间网络互通。
操作步骤
- 登录事件网格控制台。
- 在左侧导航栏选择“事件流>专业版事件流作业”,进入“专业版事件流作业”页面。
- 右上角单击“创建作业”,进入“基础配置”。
- 配置“基本配置”信息。
表1 作业基本配置参数说明 参数
说明
集群
选择已创建的集群,如未创建,请参见专业版事件流集群。
作业名称
请输入作业名称。
场景类型
默认选择“同步”场景。
实现数据源之间的数据实时同步。
描述
请输入对本作业的描述。
- 单击“下一步:源和目标对象配置”,进入“源和目标对象配置”页面。
表2 源数据和目标数据配置参数说明 参数
说明
配置类型
选择配置类型,源数据端可选择“DCS实例”或“DCS地址”。目标数据端默认为“DCS实例”。
区域
请选择资源所在区域。
项目
请选择项目。
DCS实例
请选择DCS实例。
实例类型
当“配置类型”选择“DCS地址”时,源数据端需配置。
选择实例类型。
- 单机
- 主备
- Cluster集群
DCS地址
当“配置类型”选择“DCS地址”时,源数据端需配置。
输入DCS地址。
访问方式
当“配置类型”选择“DCS地址”时,源数据端需配置。
选择访问方式。
- 密码访问。
- 免密访问。
用户名
当“配置类型”选择“DCS地址”时,源数据端需配置。
输入DCS用户名。
密码
输入DCS密码。
- 单击“测试连通性”按钮确认源端、目标端实例连通性通过之后,单击“下一步:高级配置”,进入“高级配置”页面。
表3 当“配置类型”选择“DCS实例”时配置参数说明 参数
说明
同步类型
默认为“全量+增量”。
是否限制同步速率
默认开启。
同步速率(MB/s)
请设置同步速率。
输入值必须在1到20之间。
使用Slave节点
默认开启。
表4 当“配置类型”选择“DCS地址”时配置参数说明 参数
说明
同步类型
默认为“全量+增量”。
重试策略
选择重试策略。
立即重试:巡检任务发现任务出错后立即尝试重试。
定时重试:巡检任务发现任务错后,在指定时间窗内尝试重试。
限制无法连接后的重试时间
重试策略选择“立即重试”时需配置。
开启时可设置无法连接后的重试时间,关闭时出现无法连接问题后将一直重试。
无法连接后的重试时间(分)
重试策略选择“立即重试”时需配置。
配置无法连接后的重试时间。
限制出现其他问题后的重试时间
重试策略选择“立即重试”时需配置。
开启时可设置出现其他问题后的重试时间,关闭时出现其他问题后将一直重试。
出现其他问题后的重试时间(分)
重试策略选择“立即重试”时需配置。
配置出现其他问题后的重试时间。
无法连接后的重试开始时间
重试策略选择“定时重试”时需配置。
配置无法连接后的重试开始时间。
无法连接后的重试结束时间
重试策略选择“定时重试”时需配置。
配置无法连接后的重试结束时间。
出现其他问题后的重试开始时间
重试策略选择“定时重试”时需配置。
配置出现其他问题后的重试开始时间。
出现其他问题后的重试结束时间
重试策略选择“定时重试”时需配置。
配置出现其他问题后的重试结束时间。
使用Slave节点
默认开启。
- 源端选择“DCS地址”类型的同步任务,在启动后,若事件流集群到源端或目标端实例出现连接失败问题,支持按照配置策略进行重试操作。如果在配置的时间内重新连接上源端、目标端实例,同步任务将自动恢复。否则,同步任务将失败。
- 源端或者目标端实例下电、关机、重启等;
- 事件流集群到源端或者目标端实例的网络连接异常;
- 源端或者目标端节点或者分片故障,无法对外提供访问。
- 源端选择“DCS地址”类型的同步任务,在启动后,若源端或目标端实例出现除连接失败外的其他问题,支持按照配置策略进行重试操作。如果在配置的时间内数据同步操作恢复正常,同步任务将自动恢复。否则,同步任务将失败。
- 源端未开启psync;
- 源端当前状态无法同步数据,如源端重启后初始化加载RDB阶段;
- 源端Redis命令同步失败,如源端Redis命令在目的端上不支持;
- 源端或者目标端密码修改。
- 源端选择“DCS地址”类型的同步任务,在启动后,若事件流集群到源端或目标端实例出现连接失败问题,支持按照配置策略进行重试操作。如果在配置的时间内重新连接上源端、目标端实例,同步任务将自动恢复。否则,同步任务将失败。
- 单击“下一步:预检查”,进入“预检查”页面,完成后单击“完成配置”。
- 返回专业版事件流作业列表,单击刚才创建的事件流名称,进入“基本信息”页面,选择“作业管理”,可以查看“同步进展详情”。
表5 参数说明 参数名称
说明
源节点
源数据中DCS实例的地址。
目标节点
目标数据中DCS实例的地址。
状态
DCS事件流同步进展执行情况。
同步进度(%)
DCS事件流同步进展执行进度。
同步阶段
分为全量、增量和全量+增量。
源端已执行事务数
源端的数据数量。
目标端已执行事务数
目标端同步后的数据数量。