RDS for MySQL同步到Kafka 概述 资源和成本规划 操作流程 创建VPC和安全组 源端RDS for MySQL准备 目标端Kafka准备 创建DRS同步任务 确认同步任务执行结果 父主题： 实时同步

查看更多 →

全量同步对象类型 全量同步对象类型，可选同步表结构、同步数据、同步索引，根据实际需求进行选择要同步内容。 同步数据为必选项。 选择同步表结构的时候目标库不能有同名的表。 不选同步表结构的时候目标库必须有相应的表，且要保证表结构与所选表结构相同。 DML同步 选择需要同步的DML操作，默认都勾选。

查看更多 →

增量阶段冲突策略 该冲突策略特指增量同步中的冲突处理策略，全量阶段的冲突默认忽略。冲突策略目前支持如下形式： 忽略 当同步数据与目标数据库已有数据冲突时（主键/唯一键存在重复等），将跳过冲突数据，继续进行后续同步。 覆盖 当同步数据与目标数据库已有数据冲突时（主键/唯一键存在重复等），将覆盖原来的冲突数据。

查看更多 →

事实表通常整表数据规模较大，以新增数据为主，更新数据占比小，且更新数据大多落在近一段时间范围内（年或月或天），下游读取该表进行ETL计算时通常会使用时间范围进行裁剪（例如最近一天、一月、一年），这种表通常可以通过数据的创建时间来做分区以保证最佳读写性能。 维度表数据量一般整表数据规模较小

查看更多 →

源库表和目标匹配策略。 各同步场景下源端库表和目标端库表的匹配策略请参考表6。 表6 源库表和目标匹配策略 同步场景 配置方式 整库 库匹配策略。 与来源库同名：数据将同步至与来源MySQL库名相同的Hudi库中。 自定义：数据将同步至自行指定的Hudi库中。 表匹配策略。 与来源表同名：数据将同步

查看更多 →

增量阶段冲突策略。该冲突策略特指增量同步中的冲突处理策略,全量阶段的冲突默认忽略。取值： ignore：忽略。当同步数据与目标库已有数据冲突时（主键/唯一键重复等），DRS将忽略源库的冲突数据，并保留目标库中的冲突数据，继续进行后续同步。 stop：报错。当同步数据与目标库已有数据冲突时（主

查看更多 →

MySQL为源实时灾备 灾备阶段失败报错，关键词“A dml without pk write target db fail” 父主题： 失败案例

查看更多 →

增量阶段冲突策略 该冲突策略特指增量同步中的冲突处理策略，全量阶段的冲突默认忽略。冲突策略目前支持如下形式： 忽略 当同步数据与目标数据库已有数据冲突时（主键/唯一键存在重复等），将跳过冲突数据，继续进行后续同步。选择忽略可能导致源库与目标库数据不一致。 覆盖 当同步数据与目标数据库已有数据冲突

查看更多 →

增量阶段冲突策略 该冲突策略特指增量同步中的冲突处理策略，全量阶段的冲突默认忽略。冲突策略目前支持如下形式： 忽略 当同步数据与目标数据库已有数据冲突时（主键/唯一键存在重复等），将跳过冲突数据，继续进行后续同步。选择忽略可能导致源库与目标库数据不一致。 覆盖 当同步数据与目标数据库已有数据冲突

查看更多 →

增量阶段冲突策略 该冲突策略特指增量同步中的冲突处理策略，全量阶段的冲突默认忽略。冲突策略目前支持如下形式： 忽略 当同步数据与目标数据库已有数据冲突时（主键/唯一键存在重复等），将跳过冲突数据，继续进行后续同步。选择忽略可能导致源库与目标库数据不一致。 覆盖 当同步数据与目标数据库已有数据冲突

查看更多 →

为保证同步前后数据一致性，确保同步期间目标数据库无业务写入。 数据库同步与环境多样性和人为操作均有密切关系，为了确保同步的平顺，建议您在进行正式的数据库同步之前进行一次演练，可以帮助您提前发现问题并解决问题。 建议您在启动任务时选择“稍后启动”功能，将启动时间设置在业务低峰期，避免同步对业务造成性

查看更多 →

表8 源表与目标表映射 同步场景 配置方式 整库 支持用户根据实际需求修改映射后的目的端Topic名称，可以配置为一对一、多对一的映射关系。 图9 整库场景下源表与目标表映射 分库分表 默认使用源端配置的逻辑表名作为目的端的Topic名称。 图10 分库分表场景下源表与目标表映射

查看更多 →

为保证同步前后数据一致性，确保同步期间目标数据库无业务写入。 数据库同步与环境多样性和人为操作均有密切关系，为了确保同步的平顺，建议您在进行正式的数据库同步之前进行一次演练，可以帮助您提前发现问题并解决问题。 建议您在启动任务时选择“稍后启动”功能，将启动时间设置在业务低峰期，避免同步对业务造成性能

查看更多 →

VPC场景下数据库之间的同步。 公网网络：适合通过公网网络把其他云下或其他平台的数据库同步到目标数据库，该类型要求数据库绑定弹性公网IP（EIP）。 VPN、专线网络：适合VPN、专线、CC、VPCEP、或者用户已打通VPC对等连接的网络场景，实现其他云下自建数据库与云上数据库同

查看更多 →

由于Oracle与MySQL的部分语法有明显区别，结构同步无法完全保证支持全部语法的转换，包括但不限于函数，表达式，依赖的系统表等。所以在同步过程中，会有在Oracle上存在，在MySQL中没有直接对应的语法，或者MySQL中有对应的语法，但当前还未适配转换的情况，这样会导致结构同步失败。这时，需要手工在目标数据库创建表结构。

查看更多 →

8192 数据缓存队列条数，默认为8192，当源表中单条数据过大时（如1MB），缓存过多数据会导致内存溢出，可以考虑减小该值。 debezium.max.queue.size.in.bytes int 0 数据缓存队列大小，默认为0，即表示缓存队列不考虑数据大小，只按照数据条数计算。在debezium

查看更多 →

适合通过专线网络，实现其他云下自建数据库与云上数据库迁移、或云上跨区域的数据库之间的迁移。 用户需要通过专线网络建立云与数据中心的专线连接。 云专线相关操作，请参见《云专线快速入门》。 公网网络 适合将其他云下或其他平台的数据库迁移到目标数据库。 为了确保源数据库和目标数据库之间的网络互通，源数据库端和目标数据库端分别需要进行如下设置：

查看更多 →

入云 将MySQL同步到MySQL 将MySQL同步到PostgreSQL 将MySQL同步到 GaussDB 分布式版 将MySQL同步到GaussDB主备版 将MySQL同步到GaussDB(DWS) 将MySQL同步到GaussDB(for MySQL) 将MySQL同步到MariaDB

查看更多 →

”英文逗号隔开，最多支持填写3个IP地址或 域名 。 数据库为DDS实例时，数据库IP与端口之间用“:”英文冒号拼接，多个IP端口之间请用“,”英文逗号分隔。 数据库为Redis集群时，请填写源端Redis集群所有分片的IP地址和对应端口，数据库IP与端口之间用“:”英文冒号拼接，多个IP端口之间请用“

查看更多 →

出云 将MySQL同步到MySQL 将MySQL同步到Kafka 将MySQL同步到 CSS /ES 将MySQL同步到Oracle 将MySQL同步到MariaDB 将DDM同步到MySQL 将DDM同步到Oracle 将DDM同步到Kafka 将DDS同步到MongoDB 将DDS同步到Kafka

查看更多 →

zh-cn 响应参数 状态码： 200 表4 响应Body参数 参数 参数类型 描述 total_count Integer 列表中的项目总数，与分页无关。 jobs Array of objects 任务信息列表。 详情请参见表5。 表5 jobs字段数据结构说明 参数 参数类型 描述

查看更多 →