# MySQL同步到LakeFormation作业配置 #### 支持的源端和目的端数据库版本 表1支持的数据库版本 | 源端数据库 | 目的端数据库 | |:---|:---| | MySQL数据库（5.6、5.7、8.x版本） | LakeFormation实例支持iceberg表管理特性版本（版本为25.12.0以上） | #### 数据库账号权限要求 在使用Migration进行同步时，源端和目的端所使用的数据库账号需要满足以下权限要求，才能启动实时同步任务。不同类型的同步任务，需要的账号权限也不同，详细可参考[表2](https://support.huaweicloud.com/usermanual-dataartsstudio/dataartsstudio_01_7703.html#dataartsstudio_01_7703__table1161035318319)进行赋权。 表2数据库账号权限 | 类型名称 | 权限要求 | |:---|:---| | 源数据库连接账号 | 需要具备如下最小权限：SELECT、SHOW DATABASES、REPLICATION SLAVE、REPLICATION CLIENT，即执行SQL： ``` GRANT SELECT, SHOW DATABASES, REPLICATION SLAVE, REPLICATION CLIENT ON *.* TO '用户名'@'资源组网段', '用户名'@'代理CDM集群IP'; ``` | | 目标数据库连接账号 | Lakeformation连接需要适应IAM用户AK/SK，主要需要IAM用户需要有两方面的权限： - 元数据操作权限：LakeFormation存储表的源数据，需要IAM用户具有Lakeformation模式、数据库、表的操作权限，具体步骤参见[规划LakeFormation元数据](https://support.huaweicloud.com/usermanual-lakeformation/lakeformation_03_00041.html)。 - 数据写入权限：数据将会写入在OBS存储系统中，需要IAM具有OBS读写权限，具体步骤参见[规划LakeFormation元数据](https://support.huaweicloud.com/usermanual-lakeformation/lakeformation_03_00041.html)。 | ![](https://support.huaweicloud.com/usermanual-dataartsstudio/public_sys-resources/note_3.0-zh-cn.png) - 建议创建单独用于Migration任务连接的数据库账号，避免因为数据库账号密码修改，导致的任务连接失败。 - 连接源和目标数据库的账号密码修改后，请同步修改管理中心对应的连接信息，避免任务连接失败后自动重试，导致数据库账号被锁定影响使用。 #### 支持的同步对象范围 在使用Migration进行同步时，不同类型的链路，支持的同步对象范围不同，详细情况可参考[表3](https://support.huaweicloud.com/usermanual-dataartsstudio/dataartsstudio_01_7703.html#dataartsstudio_01_7703__table1157243413255)。 表3同步对象范围 | 类型名称 | 使用须知 | |:---|:---| | 同步对象范围 | - 支持同步的DML：包括INSERT、UPDATE、DELETE。 - 支持同步的DDL：删除表、新增列、删除列、重命名表、重命名列、修改列类型、清空表。 - 仅支持同步有主键表。 - 仅支持同步MyISAM和InnoDB表。 - 不支持同步视图、外键、存储过程、触发器、函数、事件、虚拟列、唯一约束和唯一索引。 - 自动建表支持同步表结构、普通索引、约束（主键、空、非空）、注释。 - 不支持同步对象中存在包含CASCADE、SET NULL、SET DEFAULT之类引用操作的外键。这些关联操作会导致更新或删除父表中的行，影响子表对应的记录，并且子表的相关操作并不记录Binlog。 | #### 注意事项 除了数据源版本、连接账号权限及同步对象范围外，您还需要注意的事项请参见[表4](https://support.huaweicloud.com/usermanual-dataartsstudio/dataartsstudio_01_7703.html#dataartsstudio_01_7703__table6545123816182)。 表4注意事项 | 类型名称 | 使用和操作限制 | |:---|:---| | 数据库限制 | - 源端数据库中的库名、表名、字段名不能包含：.\<'\>/\\"以及非ASCII字符，建议尽量使用常规字符避免任务失败。 - 目的端数据库中的对象名需要满足约束：长度不超过63个字符，以字母或下划线开头，中间字符可以是字母、数字、下划线、$。 | | 使用限制 | 通用： - 实时同步过程中，不支持IP、端口、账号、密码修改。 - 不允许源数据库进行恢复操作。 - 源库需开启Binlog日志，并确保binlog_row_image的参数值为full。 - 建议MySQL Binlog保留3天以上，不支持强制清理Binlog。 异常/暂停恢复作业时，记录的Binlog位点过期会导致作业恢复失败，需要关注作业异常/暂停时长及Binlog保留时长。 - 实时同步过程中，不允许源数据库MySQL跨大版本升级，否则可能导致数据不一致或者同步任务失败（跨版本升级后数据、表结构、关键字等信息均可能会产生兼容性改变），建议在该场景下重建同步任务。 全量同步阶段： 任务启动和全量数据同步阶段，请不要在源数据库执行DDL操作，否则可能导致任务异常。 增量同步阶段： - 增量同步过程中，不支持指定位置加列的DDL操作（例如ALTER TABLE ddl_test ADD COLUMN c2 AFTER/FIRST c1;），Migration会删除AFTER/FIRST属性，可能会导致列顺序不一致。 - 增量同步过程中，执行不幂等的DDL可能导致数据不一致（例如ALTER TABLE ddl_test ADD COLUMN c3 timestamp default now();），Migration会因数据库函数执行结果不幂等导致最终数据不一致。 - 增量同步过程中，库级同步不支持Online DDL，表级同步目前只支持某些云DMS产生的Online DDL。 - 增量同步过程中，支持同步的DDL类型有新建表、删除表、新增列、删除列、重命名表、重命名列、修改列类型、清空表，用户可以根据自身需求选择需要同步的DDL类型。 - 新增和修改表名、列名时不能超出63字符，否则任务会失败。 - 增量阶段，源数据库执行CHANGE COLUMN修改列信息，如果该列在目标LakeFormation数据库中为分布列，则该语句会可能导致异常，因为LakeFormation不支持修改分布列。 备库抽取： 备库抽取需确认备库节点上执行SHOW MASTER STATUS能够返回值，否则在作业异常、暂停恢复场景下存在数据作业异常和数据丢失风险。 常见故障排查： 在任务创建、启动、全量同步、增量同步、结束等过程中，如有遇到问题，可先参考[常见问题](https://support.huaweicloud.com/dataartsstudio_faq/dataartsstudio_03_7594.html)章节进行排查。 | | 其他限制 | - Iceberg的分区列在实时迁移过程中必须作为必选包含在主键列中才能执行upsert操作。由于主键不允许存在NULL值，因此所选的分区列也不能包含NULL值。 - DDL同步目前仅支持增加列并正常同步到目的端LakeFormation，其余DDL操作暂不支持同步至目的端LakeFormation。 - float、double和非基本类型不能作为Iceberg的主键，具体说明详见[官网](https://iceberg.apache.org/spec/#identifier-field-ids)。 - 当前支持的目的端LakeFormation Iceberg表是MANAGERD_TABLE，即元数据存储在LakeFormation, 数据存储在OBS存储系统，暂时不支持LakeFormation的LAKE_TABLE。 - 当前默认支持Iceberg的表版本是V2，V3暂时不支持。 | #### 操作步骤 本小节以RDS for MySQL到LakeFormation的实时同步为示例，介绍如何配置Migration实时集成作业。配置作业前请务必阅读[使用前自检概览](https://support.huaweicloud.com/usermanual-dataartsstudio/dataartsstudio_01_7621.html)，确认已做好所有准备工作。 1. 参见[新建实时集成作业](https://support.huaweicloud.com/usermanual-dataartsstudio/dataartsstudio_01_1603.html)创建一个实时集成作业并进入作业配置界面。 2. 选择数据连接类型：源端选MySQL，目的端选LakeFormation。 图1选择数据连接类型 ![](https://support.huaweicloud.com/usermanual-dataartsstudio/zh-cn_image_0000002593790233.png "点击放大") 3. 选择集成作业类型：同步类型默认为实时，同步场景包含整库场景。 图2选择集成作业类型 ![](https://support.huaweicloud.com/usermanual-dataartsstudio/zh-cn_image_0000002573818295.png "点击放大") ![](https://support.huaweicloud.com/usermanual-dataartsstudio/public_sys-resources/note_3.0-zh-cn.png) 同步场景相关介绍请参见[同步场景](https://support.huaweicloud.com/usermanual-dataartsstudio/dataartsstudio_01_1601.html#dataartsstudio_01_1601__section1644461120563)。 4. 配置网络资源：选择已创建的MySQL、LakeFormation数据连接和已配置好网络连接的migration资源组。 图3选择数据连接及migration资源组 ![](https://support.huaweicloud.com/usermanual-dataartsstudio/zh-cn_image_0000002134336073.png "点击放大") ![](https://support.huaweicloud.com/usermanual-dataartsstudio/public_sys-resources/note_3.0-zh-cn.png) 无可选数据连接时，可单击"新建"跳转至管理中心数据连接界面，单击"创建数据连接"创建数据连接，详情请参见[配置DataArts Studio数据连接参数](https://support.huaweicloud.com/usermanual-dataartsstudio/dataartsstudio_01_0009.html)进行配置。 无可选migration资源组时，可单击"新建"跳转至购买migration资源组页面创建migration资源组配置，详情请参见[购买创建数据集成资源组增量包](https://support.huaweicloud.com/usermanual-dataartsstudio/dataartsstudio_01_0145.html)进行配置。 5. 检测网络连通性：数据连接和migration资源组配置完成后需要测试整个迁移任务的网络连通性，可通过以下方式进行数据源和migration资源组之间的连通性测试。 - 单击展开"源端配置"触发连通性测试，会对整个迁移任务的连通性做校验。 - 单击源端和目的端数据源和migration资源组中的"测试"按钮进行检测。 ![](https://support.huaweicloud.com/usermanual-dataartsstudio/public_sys-resources/note_3.0-zh-cn.png) 网络连通性检测异常可先参考[数据源和资源组网络不通如何排查？](https://support.huaweicloud.com/dataartsstudio_faq/dataartsstudio_03_7595.html)章节进行排查。 6. 配置源端参数。 选择需要迁移的MySQL库表。 图4选择库表 ![](https://support.huaweicloud.com/usermanual-dataartsstudio/zh-cn_image_0000002593674217.png "点击放大") 用户也可以通过"从文件导入"功能，按照模板填好的信息来导入已有表格。相关模板可根据界面提示进行下载。该功能仅支持导入不超过10 MB的xlsx类型文件，且单次最多导入500张表。为保证参数解析正确，请严格按照模板格式进行填写。 7. 配置目的端参数。 - 源库表和目的端匹配配置。 - Catalog：选择所需的Catalog。 - 库匹配策略。 - 与来源库同名：数据将同步至与来源MySQL库名相同的目标端LakeFormation库中。 - 自定义：数据将同步至自行指定的目标端LakeFormation库表中。 - 表匹配策略。 - 与来源表同名：数据将同步至与来源MySQL表名相同的LakeFormation表中。 - 自定义：数据将同步至自行指定的LakeFormation表中。 图5源库表和目的端匹配配置 ![](https://support.huaweicloud.com/usermanual-dataartsstudio/zh-cn_image_0000002593796395.png "点击放大") ![](https://support.huaweicloud.com/usermanual-dataartsstudio/public_sys-resources/note_3.0-zh-cn.png) 自定义匹配策略时，支持用内置变量#{source_db_name}和#{source_table_name}标志来源的库名和表名，其中表匹配策略必须包含#{source_table_name}。 - 目标表配置。 - 表类型：选择所需的表类型，如iceberg。 - 存储格式：选择所需的表文件格式，如parquet。 - 写入模式。 - copy-on-write - merge-on-read - 表属性配置。 表自定义属性：支持通过参数配置iceberg表的部分高级功能，单击操作列"表属性编辑"可增加表属性配置，iceberg支持的表属性配置可参考[官网](https://iceberg.apache.org/docs/nightly/configuration/)表属性配置参数。 8. 刷新源表和目标表映射，检查映射关系是否正确，同时可根据需求修改表属性、添加附加字段，并通过"自动建表"能力在目的端LakeFormation数据库中建出相应的表。 图6源表与目标表映射 ![](https://support.huaweicloud.com/usermanual-dataartsstudio/zh-cn_image_0000002563236082.png "点击放大") - 附加字段编辑：单击操作列"附加字段编辑"可为目的端的LakeFormation表中增加自定义字段，同时附加字段也会额外加入到LakeFormation表的建表中。用户可以在已有的源表字段基础上添加多个附加字段，并自定义字段名、选择字段类型、填写字段值。 - 字段名称：目的端LakeFormation表新增字段的名称。 - 字段类型：目的端LakeFormation表新增字段的类型。 - 字段值：目的端LakeFormation表新增字段的取值来源。 表5附加字段取值方式 | 类型 | 示例 | |:---|:---| | 常量 | 支持数字、字母、中文、特殊字符。彩色表情字符可能导致作业提交失败，需谨慎使用。 | | 内置变量 | - 源端host ip地址：source.host。 - 源端schema名称：source.schema。 - 源端table名称：source.table。 - 目的端schema名称：target.schema。 - 目的端table名称：target.table。 | | 源表字段 | 源表中的任一字段。 配置附加字段的取值来源于源表字段时，请注意任务运行过程中不能修改对应源表字段的名称，否则可能导致作业异常。 | | udf方法 | - substring： 截取源端col列的子串, 范围在\[pos, pos+len)。 - date_format： 将源端col列按time_format格式化, 可选转换时区。 - now(\[tz\])： 获取指定时区的当前时间。 - if(cond_exp, str1, str2)： 满足条件表达式cond_exp时返回str1, 否则返回str2。 - concat： 拼接多个参数, 可为源端列或字符串。 - from_unixtime： 将unix时间戳按time_format格式化。 - unix_timestamp： 将时间转成unix时间戳，可显式定义时间格式及转换后精度，time_format时间格式要与源端保持一致。 | - 建表信息编辑：单击操作列中的"建表信息编辑"，可对单个表的建表信息进行编辑，主要包括目的端表列信息的编辑和表属性的编辑。编辑完成后，可保存并创建该表。 图7编辑建表信息 ![](https://support.huaweicloud.com/usermanual-dataartsstudio/zh-cn_image_0000002593714779.png "点击放大") 映射配置中可以配置表分区： 表6可配置的表分区参数 | 转换名称 | 描述 | 来源类型 | 结果类型 | |:---|:---|:---|:---| | identity | 原始值，未修改。 | 除以下情况外geometry：geography，和variant | 来源类型 | | bucket\[N\] | 值的哈希值，取模N。 | int,long,decimal,date,time,timestamp,timestamptz,timestamp_ns,timestamptz_ns,string,uuid,fixedbinary | ``` int ``` | | truncate\[W\] | 值已截断至宽度W。 | int,long,decimal,string,binary | 来源类型 | | year | 提取日期或时间戳年份，例如从1970年开始的年份。 | date，timestamp,timestamptz,timestamp_ns,timestamptz_ns | ``` int ``` | | month | 提取日期或时间戳月份，例如从1970-01-01开始的月份。 | date，timestamp,timestamptz,timestamp_ns,timestamptz_ns | ``` int ``` | | day | 提取日期或时间戳，例如从1970-01-01开始的日期。 | date，timestamp,timestamptz,timestamp_ns,timestamptz_ns | ``` int ``` | | hour | 提取时间戳小时，以1970-01-0100:00:00为基准。 | timestamp,timestamptz,timestamp_ns,timestamptz_ns | ``` int ``` | iceberg分区详细介绍参考[官网](https://iceberg.apache.org/spec/#partition-transforms)，表属性中可以配置表属性，iceberg支持的表属性参考[官网](https://iceberg.apache.org/docs/nightly/configuration/)。 - 自动建表：单击"自动建表"可按照已配置映射规则在目的端数据库自动建表，成功后表建立方式会显示为使用已有表。 图8自动建表 ![](https://support.huaweicloud.com/usermanual-dataartsstudio/zh-cn_image_0000002593681073.png "点击放大") ![](https://support.huaweicloud.com/usermanual-dataartsstudio/public_sys-resources/note_3.0-zh-cn.png) - Migration仅支持自动建表，不支持自动建库和模式，需用户自行在目的端手动建出库和模式后再使用本功能建表。 - 自动建表时对应的字段类型映射关系请参见[字段映射关系](https://support.huaweicloud.com/usermanual-dataartsstudio/dataartsstudio_01_1615.html)章节。 9. 配置DDL消息处理规则。 实时集成作业除了能够同步对数据的增删改等DML操作外，也支持对部分表结构变化（DDL）进行同步。针对支持的DDL操作，用户可根据实际需求配置为正常处理/忽略/出错。 - 正常处理：Migration识别到源端库表出现该DDL动作时，作业自动同步到目的端执行该DDL操作。 - 忽略：Migration识别到源端库表出现该DDL动作时，作业忽略该DDL，不同步到目的端表中。 - 出错：Migration识别到源端库表出现该DDL动作时，作业抛出异常。 图9DDL配置 ![](https://support.huaweicloud.com/usermanual-dataartsstudio/zh-cn_image_0000002563322986.png "点击放大") 10. 配置任务属性。 表7任务配置参数说明 | 参数 | 说明 | 默认值 | |:---|:---|:---| | 执行内存 | 作业执行分配内存，跟随处理器核数变化而自动变化。 | 8GB | | 处理器核数 | 范围：2-32。 每增加1处理核数，则自动增加4G执行内存和1并发数。 | 2 | | 并发数 | 作业执行支持并发数。该参数无需配置，跟随处理器核数变化而自动变化。 | 1 | | 自动重试 | 作业失败时是否开启自动重试。 | 否 | | 最大重试次数 | "自动重试"为是时显示该参数。 | 1 | | 重试间隔时间 | "自动重试"为是时显示该参数。 | 120秒 | | 是否写入脏数据 | 选择是否记录脏数据，默认不记录脏数据，当脏数据过多时，会影响同步任务的整体同步速度。 - 否：默认为否，不记录脏数据。 表示不允许脏数据存在。如果同步过程中产生脏数据，任务将失败退出。 - 是：允许脏数据，即任务产生脏数据时不影响任务执行。 允许脏数据并设置其阈值时： - 若产生的脏数据在阈值范围内，同步任务将忽略脏数据（即不会写入目标端），并正常执行。 - 若产生的脏数据超出阈值范围，同步任务将失败退出。 说明： 脏数据认定标准：脏数据是对业务没有意义，格式非法或者同步过程中出现问题的数据；单条数据写入目标数据源过程中发生了异常，则此条数据为脏数据。 因此只要是写入失败的数据均被归类于脏数据。 例如，源端是VARCHAR类型的数据写到INT类型的目标列中，则会因为转换不合理导致脏数据不会成功写入目的端。用户可以在同步任务配置时，配置同步过程中是否写入脏数据，配置脏数据条数（单个分片的最大错误记录数）保证任务运行，即当脏数据超过指定条数时，任务失败退出。 | 否 | | 脏数据策略 | "是否写入脏数据"为是时显示该参数，当前支持以下策略： - 不归档：不对脏数据进行存储，仅记录到任务日志中。 - 归档到OBS：将脏数据存储到OBS中，并打印到任务日志中。 | 不归档 | | 脏数据写入连接 | "脏数据策略"选择归档到OBS时显示该参数。 脏数据要写入的连接，目前只支持写入到OBS连接。 | - | | 脏数据目录 | 脏数据写入的OBS目录。 | - | | 脏数据阈值 | 是否写入脏数据为是时显示该参数。 用户根据实际设置脏数据阈值。 说明： - 脏数据阈值仅针对每个并发生效。比如阈值为100，并发为3，则该作业可容忍的脏数据条数最多为300。 - 输入-1表示不限制脏数据条数。 | 100 | | 添加自定义属性 | 支持通过自定义属性修改部分作业参数及开启部分高级功能，详情可参见[任务性能调优](https://support.huaweicloud.com/usermanual-dataartsstudio/dataartsstudio_01_7653.html)章节。 | - | 11. 提交并运行任务。 作业配置完毕后，单击作业开发页面左上角"提交"，完成作业提交。 图10提交作业 ![](https://support.huaweicloud.com/usermanual-dataartsstudio/zh-cn_image_0000002563076400.png "点击放大") 提交成功后，单击作业开发页面"启动"按钮，在弹出的启动配置对话框按照实际情况配置同步位点参数，单击"确定"启动作业。 图11启动配置 ![](https://support.huaweicloud.com/usermanual-dataartsstudio/zh-cn_image_0000002563235906.png) 表8启动配置参数 | 参数 | 说明 | |:---|:---| | 同步模式 | - 增量同步：从指定时间位点开始同步增量数据。 - 全量+增量：先同步全量数据，随后实时同步增量数据。 - 从最近保存位点同步：如果作业之前有过启动过并保存有作业作业状态位点，可以选择从最近保存位点同步。 | | 位点时间 | 增量同步需要设置该参数，指示增量同步起始的时间位点。 说明： 配置的位点时间早于Binlog日志最早时间点时，默认会以日志最新时间点开始消费。 | 12. 监控作业。 通过单击作业开发页面导航栏的"前往监控"按钮，可前往作业监控页面查看运行情况、监控日志等信息，并配置对应的告警规则，详情请参见[实时集成任务运维](https://support.huaweicloud.com/usermanual-dataartsstudio/dataartsstudio_01_1622.html)。 图12前往监控 ![](https://support.huaweicloud.com/usermanual-dataartsstudio/zh-cn_image_0000002098536316.png "点击放大") #### 性能调优 若链路同步速度过慢，可参见[任务性能调优](https://support.huaweicloud.com/usermanual-dataartsstudio/dataartsstudio_01_7653.html)章节中对应链路文档进行排查及处理。