MySQL同步到LakeFormation作业配置

支持的源端和目的端数据库版本

表1 支持的数据库版本
源端数据库	目的端数据库
MySQL数据库（5.6、5.7、8.x版本）	LakeFormation实例支持iceberg表管理特性版本（版本为25.12.0以上）

数据库账号权限要求

在使用Migration进行同步时，源端和目的端所使用的数据库账号需要满足以下权限要求，才能启动实时同步任务。不同类型的同步任务，需要的账号权限也不同，详细可参考表2进行赋权。

表2 数据库账号权限
类型名称	权限要求
源数据库连接账号	需要具备如下最小权限：SELECT、SHOW DATABASES、REPLICATION SLAVE、REPLICATION CLIENT，即执行SQL： GRANT SELECT, SHOW DATABASES, REPLICATION SLAVE, REPLICATION CLIENT ON . TO '用户名'@'资源组网段', '用户名'@'代理CDM集群IP';
目标数据库连接账号	Lakeformation连接需要适应IAM用户AK/SK，主要需要IAM用户需要有两方面的权限：元数据操作权限：LakeFormation存储表的源数据，需要IAM用户具有Lakeformation模式、数据库、表的操作权限，具体步骤参见规划LakeFormation元数据。数据写入权限：数据将会写入在OBS存储系统中，需要IAM具有OBS读写权限，具体步骤参见规划LakeFormation元数据。

建议创建单独用于Migration任务连接的数据库账号，避免因为数据库账号密码修改，导致的任务连接失败。
连接源和目标数据库的账号密码修改后，请同步修改管理中心对应的连接信息，避免任务连接失败后自动重试，导致数据库账号被锁定影响使用。

支持的同步对象范围

在使用Migration进行同步时，不同类型的链路，支持的同步对象范围不同，详细情况可参考表3。

表3 同步对象范围
类型名称	使用须知
同步对象范围	支持同步的DML：包括INSERT、UPDATE、DELETE。支持同步的DDL：删除表、新增列、删除列、重命名表、重命名列、修改列类型、清空表。仅支持同步有主键表。仅支持同步MyISAM和InnoDB表。不支持同步视图、外键、存储过程、触发器、函数、事件、虚拟列、唯一约束和唯一索引。自动建表支持同步表结构、普通索引、约束（主键、空、非空）、注释。不支持同步对象中存在包含CASCADE、SET NULL、SET DEFAULT之类引用操作的外键。这些关联操作会导致更新或删除父表中的行，影响子表对应的记录，并且子表的相关操作并不记录Binlog。

注意事项

除了数据源版本、连接账号权限及同步对象范围外，您还需要注意的事项请参见表4。

表4 注意事项
类型名称	使用和操作限制
数据库限制	源端数据库中的库名、表名、字段名不能包含：.<'>/\"以及非ASCII字符，建议尽量使用常规字符避免任务失败。目的端数据库中的对象名需要满足约束：长度不超过63个字符，以字母或下划线开头，中间字符可以是字母、数字、下划线、$。
使用限制	通用：实时同步过程中，不支持IP、端口、账号、密码修改。不允许源数据库进行恢复操作。源库需开启Binlog日志，并确保binlog_row_image的参数值为full。建议MySQL Binlog保留3天以上，不支持强制清理Binlog。异常/暂停恢复作业时，记录的Binlog位点过期会导致作业恢复失败，需要关注作业异常/暂停时长及Binlog保留时长。实时同步过程中，不允许源数据库MySQL跨大版本升级，否则可能导致数据不一致或者同步任务失败（跨版本升级后数据、表结构、关键字等信息均可能会产生兼容性改变），建议在该场景下重建同步任务。全量同步阶段：任务启动和全量数据同步阶段，请不要在源数据库执行DDL操作，否则可能导致任务异常。增量同步阶段：增量同步过程中，不支持指定位置加列的DDL操作（例如ALTER TABLE ddl_test ADD COLUMN c2 AFTER/FIRST c1;），Migration会删除AFTER/FIRST属性，可能会导致列顺序不一致。增量同步过程中，执行不幂等的DDL可能导致数据不一致（例如ALTER TABLE ddl_test ADD COLUMN c3 timestamp default now();），Migration会因数据库函数执行结果不幂等导致最终数据不一致。增量同步过程中，库级同步不支持Online DDL，表级同步目前只支持某些云DMS产生的Online DDL。增量同步过程中，支持同步的DDL类型有新建表、删除表、新增列、删除列、重命名表、重命名列、修改列类型、清空表，用户可以根据自身需求选择需要同步的DDL类型。新增和修改表名、列名时不能超出63字符，否则任务会失败。增量阶段，源数据库执行CHANGE COLUMN修改列信息，如果该列在目标LakeFormation数据库中为分布列，则该语句会可能导致异常，因为LakeFormation不支持修改分布列。备库抽取：备库抽取需确认备库节点上执行SHOW MASTER STATUS能够返回值，否则在作业异常、暂停恢复场景下存在数据作业异常和数据丢失风险。常见故障排查：在任务创建、启动、全量同步、增量同步、结束等过程中，如有遇到问题，可先参考常见问题章节进行排查。
其他限制	Iceberg的分区列在实时迁移过程中必须作为必选包含在主键列中才能执行upsert操作。由于主键不允许存在NULL值，因此所选的分区列也不能包含NULL值。 DDL同步目前仅支持增加列并正常同步到目的端LakeFormation，其余DDL操作暂不支持同步至目的端LakeFormation。 float、double和非基本类型不能作为Iceberg的主键，具体说明详见官网。当前支持的目的端LakeFormation Iceberg表是MANAGERD_TABLE，即元数据存储在LakeFormation, 数据存储在OBS存储系统，暂时不支持LakeFormation的LAKE_TABLE。当前默认支持Iceberg的表版本是V2，V3暂时不支持。

操作步骤

本小节以RDS for MySQL到LakeFormation的实时同步为示例，介绍如何配置Migration实时集成作业。配置作业前请务必阅读使用前自检概览，确认已做好所有准备工作。

参见新建实时集成作业创建一个实时集成作业并进入作业配置界面。
选择数据连接类型：源端选MySQL，目的端选LakeFormation。
选择集成作业类型：同步类型默认为实时，同步场景包含整库场景。

图1 选择集成作业类型

同步场景相关介绍请参见同步场景。
配置网络资源：选择已创建的MySQL、LakeFormation数据连接和已配置好网络连接的migration资源组。

图2 选择数据连接及migration资源组

无可选数据连接时，可单击“新建”跳转至管理中心数据连接界面，单击“创建数据连接”创建数据连接，详情请参见配置DataArts Studio数据连接参数进行配置。

无可选migration资源组时，可单击“新建”跳转至购买migration资源组页面创建migration资源组配置，详情请参见购买创建数据集成资源组增量包进行配置。
检测网络连通性：数据连接和migration资源组配置完成后需要测试整个迁移任务的网络连通性，可通过以下方式进行数据源和migration资源组之间的连通性测试。
- 单击展开“源端配置”触发连通性测试，会对整个迁移任务的连通性做校验。
- 单击源端和目的端数据源和migration资源组中的“测试”按钮进行检测。
  
  网络连通性检测异常可先参考数据源和资源组网络不通如何排查？章节进行排查。
配置源端参数。

选择需要迁移的MySQL库表。
图3 选择库表

用户也可以通过“从文件导入”功能，按照模板填好的信息来导入已有表格。相关模板可根据界面提示进行下载。该功能仅支持导入不超过10 MB的xlsx类型文件，且单次最多导入500张表。为保证参数解析正确，请严格按照模板格式进行填写。
配置目的端参数。
- 源库表和目的端匹配配置。
  - Catalog：选择所需的Catalog。
  - 库匹配策略。
    - 与来源库同名：数据将同步至与来源MySQL库名相同的目标端LakeFormation库中。
    - 自定义：数据将同步至自行指定的目标端LakeFormation库表中。
  - 表匹配策略。
    - 与来源表同名：数据将同步至与来源MySQL表名相同的LakeFormation表中。
    - 自定义：数据将同步至自行指定的LakeFormation表中。
      图4 源库表和目的端匹配配置
      
      自定义匹配策略时，支持用内置变量#{source_db_name}和#{source_table_name}标志来源的库名和表名，其中表匹配策略必须包含#{source_table_name}。
- 目标表配置。
  - 表类型：选择所需的表类型，如iceberg。
  - 存储格式：选择所需的表文件格式，如parquet。
  - 写入模式。
    - copy-on-write
    - merge-on-read
  - 表属性配置。
    表自定义属性：支持通过参数配置iceberg表的部分高级功能，单击操作列“表属性编辑”可增加表属性配置，iceberg支持的表属性配置可参考官网表属性配置参数。

刷新源表和目标表映射，检查映射关系是否正确，同时可根据需求修改表属性、添加附加字段，并通过“自动建表”能力在目的端LakeFormation数据库中建出相应的表。

图5 源表与目标表映射
点击放大

附加字段编辑：单击操作列“附加字段编辑”可为目的端的LakeFormation表中增加自定义字段，同时附加字段也会额外加入到LakeFormation表的建表中。用户可以在已有的源表字段基础上添加多个附加字段，并自定义字段名、选择字段类型、填写字段值。

字段名称：目的端LakeFormation表新增字段的名称。
字段类型：目的端LakeFormation表新增字段的类型。

字段值：目的端LakeFormation表新增字段的取值来源。

表5 附加字段取值方式
类型	示例
常量	支持数字、字母、中文、特殊字符。彩色表情字符可能导致作业提交失败，需谨慎使用。
内置变量	源端host ip地址：source.host。源端schema名称：source.schema。源端table名称：source.table。目的端schema名称：target.schema。目的端table名称：target.table。
源表字段	源表中的任一字段。配置附加字段的取值来源于源表字段时，请注意任务运行过程中不能修改对应源表字段的名称，否则可能导致作业异常。
udf方法	substring(#col, pos[, len])：截取源端col列的子串, 范围在[pos, pos+len)。 date_format(#col, time_format[, src_tz, dst_tz])：将源端col列按time_format格式化, 可选转换时区。 now([tz])：获取指定时区的当前时间。 if(cond_exp, str1, str2)：满足条件表达式cond_exp时返回str1, 否则返回str2。 concat(#col[, #str, ...])：拼接多个参数, 可为源端列或字符串。 from_unixtime(#col[, time_format])：将unix时间戳按time_format格式化。 unix_timestamp(#col[, precision, time_format])：将时间转成unix时间戳，可显式定义时间格式及转换后精度，time_format时间格式要与源端保持一致。

建表信息编辑：单击操作列中的“建表信息编辑”，可对单个表的建表信息进行编辑，主要包括目的端表列信息的编辑和表属性的编辑。编辑完成后，可保存并创建该表。

图6 编辑建表信息

映射配置中可以配置表分区：

表6 可配置的表分区参数
转换名称	描述	来源类型	结果类型
identity	原始值，未修改。	除以下情况外geometry：geography，和variant	来源类型
bucket[N]	值的哈希值，取模N。	int,long,decimal,date,time,timestamp,timestamptz,timestamp_ns,timestamptz_ns,string,uuid,fixedbinary	int
truncate[W]	值已截断至宽度W。	int,long,decimal,string,binary	来源类型
year	提取日期或时间戳年份，例如从1970年开始的年份。	date，timestamp,timestamptz,timestamp_ns,timestamptz_ns	int
month	提取日期或时间戳月份，例如从1970-01-01开始的月份。	date，timestamp,timestamptz,timestamp_ns,timestamptz_ns	int
day	提取日期或时间戳，例如从1970-01-01开始的日期。	date，timestamp,timestamptz,timestamp_ns,timestamptz_ns	int
hour	提取时间戳小时，以1970-01-0100:00:00为基准。	timestamp,timestamptz,timestamp_ns,timestamptz_ns	int

iceberg分区详细介绍参考官网，表属性中可以配置表属性，iceberg支持的表属性参考官网。

自动建表：单击“自动建表”可按照已配置映射规则在目的端数据库自动建表，成功后表建立方式会显示为使用已有表。
图7 自动建表
- Migration仅支持自动建表，不支持自动建库和模式，需用户自行在目的端手动建出库和模式后再使用本功能建表。
- 自动建表时对应的字段类型映射关系请参见字段映射关系章节。

配置DDL消息处理规则。

实时集成作业除了能够同步对数据的增删改等DML操作外，也支持对部分表结构变化（DDL）进行同步。针对支持的DDL操作，用户可根据实际需求配置为正常处理/忽略/出错。
- 正常处理：Migration识别到源端库表出现该DDL动作时，作业自动同步到目的端执行该DDL操作。
- 忽略：Migration识别到源端库表出现该DDL动作时，作业忽略该DDL，不同步到目的端表中。
- 出错：Migration识别到源端库表出现该DDL动作时，作业抛出异常。
  图8 DDL配置

配置任务属性。

表7 任务配置参数说明
参数	说明	默认值
执行内存	作业执行分配内存，跟随处理器核数变化而自动变化。	8GB
处理器核数	范围：2-32。每增加1处理核数，则自动增加4G执行内存和1并发数。	2
并发数	作业执行支持并发数。该参数无需配置，跟随处理器核数变化而自动变化。	1
自动重试	作业失败时是否开启自动重试。	否
最大重试次数	“自动重试”为是时显示该参数。	1
重试间隔时间	“自动重试”为是时显示该参数。	120秒
是否写入脏数据	选择是否记录脏数据，默认不记录脏数据，当脏数据过多时，会影响同步任务的整体同步速度。否：默认为否，不记录脏数据。表示不允许脏数据存在。如果同步过程中产生脏数据，任务将失败退出。是：允许脏数据，即任务产生脏数据时不影响任务执行。允许脏数据并设置其阈值时：若产生的脏数据在阈值范围内，同步任务将忽略脏数据（即不会写入目标端），并正常执行。若产生的脏数据超出阈值范围，同步任务将失败退出。说明：脏数据认定标准：脏数据是对业务没有意义，格式非法或者同步过程中出现问题的数据；单条数据写入目标数据源过程中发生了异常，则此条数据为脏数据。因此只要是写入失败的数据均被归类于脏数据。例如，源端是VARCHAR类型的数据写到INT类型的目标列中，则会因为转换不合理导致脏数据不会成功写入目的端。用户可以在同步任务配置时，配置同步过程中是否写入脏数据，配置脏数据条数（单个分片的最大错误记录数）保证任务运行，即当脏数据超过指定条数时，任务失败退出。	否
脏数据策略	“是否写入脏数据”为是时显示该参数，当前支持以下策略：不归档：不对脏数据进行存储，仅记录到任务日志中。归档到OBS：将脏数据存储到OBS中，并打印到任务日志中。	不归档
脏数据写入连接	“脏数据策略”选择归档到OBS时显示该参数。脏数据要写入的连接，目前只支持写入到OBS连接。	-
脏数据目录	脏数据写入的OBS目录。	-
脏数据阈值	是否写入脏数据为是时显示该参数。用户根据实际设置脏数据阈值。说明：脏数据阈值仅针对每个并发生效。比如阈值为100，并发为3，则该作业可容忍的脏数据条数最多为300。输入-1表示不限制脏数据条数。	100
添加自定义属性	支持通过自定义属性修改部分作业参数及开启部分高级功能，详情可参见任务性能调优章节。	-

提交并运行任务。

作业配置完毕后，单击作业开发页面左上角“提交”，完成作业提交。

图9 提交作业

提交成功后，单击作业开发页面“启动”按钮，在弹出的启动配置对话框按照实际情况配置同步位点参数，单击“确定”启动作业。

图10 启动配置

表8 启动配置参数
参数	说明
同步模式	增量同步：从指定时间位点开始同步增量数据。全量+增量：先同步全量数据，随后实时同步增量数据。从最近保存位点同步：如果作业之前有过启动过并保存有作业作业状态位点，可以选择从最近保存位点同步。
位点时间	增量同步需要设置该参数，指示增量同步起始的时间位点。说明：配置的位点时间早于Binlog日志最早时间点时，默认会以日志最新时间点开始消费。