将MySQL同步到GaussDB分布式版

• 本地自建MySQL数据库
• ECS自建MySQL数据库

GaussDB分布式（MySQL兼容模式)

源数据库连接账号

SELECT。

授权语句：GRANT SELECT ON <database>.<table> to <user>;

SELECT、LOCK TABLES、REPLICATION SLAVE、REPLICATION CLIENT。

授权语句：GRANT SELECT， LOCK TABLES ON <database>.<table> to drsUser; GRANT REPLICATION SLAVE，REPLICATION CLIENT ON *.* to <user>;

全量+增量任务，当源数据库为8.0.2及以上版本时，还需要授予XA_RECOVER_ADMIN权限，以防启动或编辑时未提交的XA事务导致数据有损。

目标数据库连接账号

• 库级权限：需要使用root或其他有Sysadmin角色的DATABASE用户登录postgres基库，赋予用户DATABASE的CREATE、CONNECT权限。

  授权语句：GRANT CREATE, CONNECT ON DATABASE <database> TO <user>;

• SCHEMA级权限：需要使用 root、或其他有Sysadmin角色的DATABASE用户、或使用数据库的OWNER用户登录数据库，赋予用户SCHEMA的CREATE、USAGE权限。

  授权语句：GRANT CREATE, USAGE ON SCHEMA <schema> TO <user>;

• 表级权限：需要使用 root、或其他有Sysadmin角色的DATABASE用户、或使用数据库的OWNER用户登录数据库 ，赋予用户SCHEMA下表的DML相关权限（SELECT权限在处理无主键表时需要）。

  授予SCHEMA下所有表的DML权限：GRANT SELECT, UPDATE, INSERT, DELETE, INDEX, ALTER ON ALL TABLES IN SCHEMA <schema> TO <user>;

  授予SCHEMA下指定表的DML权限：GRANT SELECT, UPDATE, INSERT, DELETE, INDEX, ALTER ON TABLE <schema.table> TO <user>;

• 目标库使用gsloader等工具创建相关系统表（如 public.pgxc_copy_error_log，public.gs_copy_summary）时，DRS访问相关系统表需要有系统表的all privilege权限，详细信息可参考《GaussDB工具参考》。

同步对象范围

• 源数据库中的库名、表名、列名不能包含：<'>/\以及非ASCII字符。
• 源数据库中表结构的列名不能以\字符结尾。
• 仅支持同步表结构、表数据、索引信息。
• 仅支持同步有主键表。
• 仅支持同步MyISAM和InnoDB表。
• 虚拟列会被同步为普通列，且不写入任何数据，也不做增量同步。
• 不支持同步存储过程等其他数据库对象。
• 不支持同步既是无主键表，又是分区表的自建表，可能会导致任务失败。
• 全量和增量同步不支持隐藏列（INVISIBLE），隐藏列是MySQL 8.0.23开始支持的特性，例如：

  CREATE TABLE `test11` (
    `id` int NOT NULL,
    `c1` int DEFAULT NULL /*!80023 INVISIBLE */,
    PRIMARY KEY (`id`));

源数据库限制

• 源数据库中的库名、表名不能包含：.<'>/\"以及非ASCII字符。

• 不支持reset master或reset master to命令，可能会导致DRS任务失败或者数据不一致。
• 如果源数据库MySQL不支持TLS1.2协议，或者为版本较低的自建库（低于5.6.46或在5.7.0-5.7.28之间），需提交运维申请才能使用SSL测试连接。

使用限制

通用：

• 不允许源数据库进行恢复操作。
• 数据同步过程中，不允许源数据库MySQL跨大版本升级，否则可能导致数据不一致或者同步任务失败（跨版本升级后数据、表结构、关键字等信息均可能会产生兼容性改变），建议在该场景下重建同步任务。

全量同步阶段：

• 任务启动和全量数据同步阶段，请不要在源数据库执行DDL操作，否则可能导致任务异常。
• DRS全量同步表结构时，MySQL->GaussDB(PG兼容性模式)不迁移表结构的自增属性。
• DRS全量同步表结构时，列名不能是CTID、XMIN、CMIN、XMAX、CMAX、TABLEOID、XC_NODE_ID、TID、OID、GS_TUPLE_UID、TABLEBUCKETID，这些GaussDB禁止的字段，否则会导致建表失败。
• 全量同步分区表的结构时会将该对象转为非分区的普通表，增量同步时，源库跟分区表相关的操作，可能无法同步到目标库或者在目标库执行失败。

增量同步阶段：

• 不允许修改、删除连接源和目标数据库的用户的用户名、权限，或修改源和目标数据库的端口号。
• 如果设置session变量character_set_client为binary，可能导致乱码。
• 增量同步过程中支持DDL操作。默认同步的DDL类型有CREATE_TABLE，RENAME_TABLE，ADD_COLUMN，RENAME_COLUMN，MODIFY_COLUMN，CHANGE_COLUMN，ALTER_COLUMN，DROP_INDEX，RENAME_INDEX，客户可以根据自身需求，在对象选择页面选择需要同步的DDL类型。
• 增量同步过程中，不支持DELETE和UPDATE目标数据库主键类型为tinyblob、blob、mediumblob、longblob、tinytext、text、mediumtext、longtext、clob、nclob、bytea、binary的表。

结束任务：

• 任务正常结束：

  请确保任务结束前，不要断开源和目标数据库的网络连通性，并在结束任务时关注同步日志上报的状态，达到数据库完整同步效果。

• 任务强制结束：

  强制结束将直接释放DRS资源。

常见故障排查：

• 在任务创建、启动、全量同步、增量同步、结束等过程中，如有遇到问题，可先参考“故障排查”章节进行排查。

其他限制

• 如果专属计算集群不支持4vCPU/8G或以上规格实例，则无法创建同步任务。
• 在MySQL中，同一个database（schema）下面的不同表可以存在相同的索引名或约束名。而目标数据库GaussDB中，同一个schema中索引和约束名是唯一的，且长度存在上限。为防止索引和约束名冲突，在全量同步中，DRS同步到目标表上的索引名称将变为此格式：哈希值+原索引名（可能被截断）+_key。其中哈希值由"原库名_原表名_原索引名"计算得到。同理，表上的原约束名将变为：哈希值+原约束名（可能被截断）+_key。
• MySQL->GaussDB同步任务默认防回环、防级联（即不支持从实例A同步到实例B，再从实例B同步到实例C）。
• 分布列由数据库机制决定，DRS不主动指定分布列及分布方式。
• 不支持无主键复制表的数据同步。
• 在创建DRS任务之前，如果源数据库实例开启并设置了SQL限流规则，可能会导致DRS任务失败。
• 网络中断在30秒内恢复的，不影响实时同步，如果超过30秒，则会导致同步任务失败。
• 支持目标数据库中的表比源数据库多列场景，但是需要避免以下场景可能导致的任务失败。
  • 目标数据库多的列要求非空且没有默认值，源库insert数据，同步到目标数据库后多的列为null，不符合目标数据库要求。
  • 目标数据库多的列设置固定默认值，且有唯一约束。源库insert多条数据后，同步到目标数据库后多的列为固定默认值，不符合目标数据库要求。
• 源库和目标库均相同的任务不允许出现重复同步的情况，如：A任务和B任务同时将源库的同一张表的实时同步到目标库的同一张表中，可能导致数据不一致和同步失败。
• GaussDB只能设置库级字符集，如果遇到MySQL中设置了表级、字段级字符集的场景，可能会因为字符长度问题导致创建表结构异常。
• DRS全量同步表结构时，源库中char、varchar、nvarchar、enum、set字符类型长度在目标库会按照字节长自动扩大（因为目标库为字节长），扩大倍数和源库中列的字符集有关。如源库字符集为UTF8的按照字节长扩大3倍，为UTF8MB4的按照字节长扩大4倍。
• 不建议在数据库中使用非精确数值类型做主键，该特性影响DRS增量场景下对UPDATE、DELETE语句的同步，导致任务失败。
• 如果无主键表中包含大字段（tinyblob、blob、mediumblob、longblob、tinytext、text、mediumtext、longtext、clob、nclob、bytea、binary），增量同步阶段存在大字段数据不一致的可能性。
• 如果使用时间类型当主键，如果该时间类型的值是目标库的非法值，增量同步可能存在数据不一致或者任务失败的风险。
• MySQL->GaussDB(PG兼容性模式)增量DDL使用的是B兼容性模式的DDL语法，可能会导致增量同步失败。
• 由于浮点型数据是采用近似值存储，而不是作为精确值存储，此外操作系统平台和底层实现也对浮点型数据有影响，因此FLOAT，DOUBLE类型的数据是不精确的，所以在MySQL和GaussDB同步浮点型数据，存在一定差异的可能性，可参考MySQL的官方文档。
• 由于MySQL与GaussDB针对零时间（"0000-00-00 00:00:00"）内置的处理方式不同，当进行内容对比时，如果源、目标数据库存在零时间，对比结果会显示数据不一致。
• 源数据库MySQL的表中如果存在定长的binary字段，MySQL驱动会在数据末尾按照长度补齐\0，可能导致同步到目标库GaussDB后出现数据不一致的情况。
• 源数据库如果存在非标浮点类型，且非标浮点类型存在宽松模式可以写入但严格模式下无法写入的数据，同步过程可能会有数据不一致的风险。
• 源数据库同步的表如果有AUTO_INCREMENT属性，结束任务时，DRS会自动刷新同步表的序列整型列所对应的GaussDB自增列（sequence）起始值，刷新值为该列的最大值+10000。
• 选择同步表结构，目标库列名默认会被转成小写。如果需要同步的表在目标库已经存在，要求目标库同步对象表的列名全部小写。如果对目标库列名大小写有要求，请在管理控制台右上角，选择“工单 > 新建工单”，提交工单处理。
• 已选择的表与未选择的表之间互相rename的DDL操作，在任务同步中会被过滤掉，可能会导致任务失败或数据不一致。
  • 对于一个DDL中存在一个rename的情况（例如：rename A TO B），只支持rename前后库表都在已选择库表中的rename操作（A和B都在已选择库表中），其他情况的rename DDL会被过滤。
  • 对于一个DDL中存在多个rename的情况（例如：rename A TO B, B TO C），只支持rename前后库表都在已选择库表中的部分rename操作 ，其他情况的rename DDL会被过滤（A和B在已选择库表中，C不在，仅执行rename A TO B）。
  • 不建议在多对一同步场景下的进行rename操作，可能会导致任务失败或数据不一致。
• time类型做主键，并且存在非正常数据(00:00:00-23:59:59之外的数据)，内容比对结果可能显示数据不一致。