MySQL数据源

支持的版本

本数据集成服务全面支持云上RDS - MySQL及线下自建MySQL数据源，同时兼容华为云DDM产品以及开源TIDB数据源，可满足不同用户在多种部署环境下的数据同步需求。

使用前准备及限制

• 网络要求

  MySQL数据源必须与CDM网络进行通讯，以确保数据传输的顺畅性。详情请参见网络打通。

• 权限要求
  • 离线读取MySQL时：账号需具备对同步表的只读权限（SELECT），以确保数据能够被安全、准确地读取。
  • 离线写入MySQL时：账号需具备对同步表的写入权限（INSERT、DELETE、UPDATE），以便能够将数据正确写入目标表。
  • 涉及表操作时：如新建表、删除表等，账号需具备对同步表的写入权限（CREATE、DROP），以支持数据集成过程中对表结构的灵活调整。
  • 特殊说明：当数据源为华为云DDM产品时，由于DDM不支持跨库查询元数据，连接中选择的库应与任务中的库保持一致，以避免因库不一致导致的元数据查询错误。

驱动选择

支持的数据类型

以MySQL社区版5.7/8.0为基准，本数据集成服务兼容以下字段类型及其常见变体，确保在读写操作中能够准确处理各类数据：

支持的迁移场景

数据集成离线同步支持以下三种同步方式，以满足不同数据迁移场景的需求：

• 单表同步

  适用于数据入湖和数据上云场景下，表或文件级别的数据同步。支持的数据源类型请参考表/文件同步支持的数据源类型。

• 分库分表同步

  适用于数据入湖和数据上云场景下，多库多表同步场景。支持的数据源类型请参考分库分表同步支持的数据源类型。

• 整库迁移

  适用于数据入湖和数据上云场景下，离线或自建数据库整体同步场景。支持的数据源类型请参考整库同步支持的数据源类型。

云场景下，离线或自建数据库整体同步场景。支持的数据源类型请参考整库同步支持的数据源类型。

需要注意的是，分库分表与整库迁移能力会根据不同region的上线支持情况有所不同，具体支持情况以页面为准。以下是针对MySQL的支持迁移场景概览：

核心能力速览

• 连接配置

  配置项	支持情况	说明
  用户/AK	√	支持用户认证，确保连接安全。
  SSL 加密	√	支持 SSL 加密，保障数据传输安全，当前仅支持云上 RDS 开启 SSL 认证。
  SSL 认证支持	√	当前仅支持云上 RDS 开启 SSL 认证，通过标准华为云 CA 证书进行认证。
  私有证书支持	x	不支持私有证书。
  连接配置调优	√	支持 connectTimeout 等连接配置调优，可根据实际需求优化连接性能。
  自定义驱动	√	支持自定义驱动，提供更高的灵活性。

• 读取能力

  配置项	支持情况	说明
  分片并发	√	支持按主键或常见字段做水平分片，多线程并行抽取，显著提升吞吐效率。
  脏数据处理	√	支持异常数据写入脏数据桶，避免因少量异常数据导致作业失败。
  自定义字段	√	可在任务级追加计算列、常量列或脱敏函数，满足个性化业务需求。
  增量读取	√	支持 where 条件和 SQL 模式，可实现增量读取。
  流批读取方式	流读	支持流式读取，适用于大数据量场景。

• 写入能力

  配置项	支持情况	说明
  脏数据处理	√	支持异常数据写入脏数据桶，避免因少量异常数据导致作业失败。
  冲突解决	√	支持 insert into/replace into/duplicate key 等多种写入方式，可灵活处理数据冲突。
  导入前后处理	√	支持 preSql/delete 等操作，可在数据导入前后进行数据清洗和处理。
  并发写入	√	支持并发写入，提升写入效率。
  写入行数调优	√	支持在连接中配置 【单次提交行数】和【单次写入行数】参数调优，可根据实际需求优化写入性能。

创建数据源

在DataArts Studio管理中心新建相应的数据源，详情请参见创建DataArts Studio数据连接。

创建数据集成离线作业

在DataArts Studio数据开发中新建MySQL集成作业，详情请参见新建离线处理集成作业。

常见问题

• MySQL迁移时报错“JDBC连接超时”怎么办？
• 如何使用CDM服务将MySQL的数据导出成SQL文件，然后上传到OBS桶？
• MySQL迁移时报错：invalid input syntax for integer: "true"

最佳实践

MySQL连接属性配置指南

关系型数据库增量迁移