# 元数据全量迁移 将源端数据库中的所有元数据迁移到华为云数据湖探索（DLI） 。 ![](https://support.huaweicloud.com/usermanual-mgc/public_sys-resources/notice_3.0-zh-cn.png) - 元数据迁移不支持事务表（即DDL中带有transactional=true字段的表）。 - 当迁移的表数量较多或单个表的列数较多时，迁移过程可能会耗费较长时间。 #### 前提条件 - 已完成所有[准备工作](https://support.huaweicloud.com/usermanual-mgc/mgc_03_0148.html)。 - 已[创建源端连接](https://support.huaweicloud.com/usermanual-mgc/mgc_03_0149.html)。 - 已[创建目的端连接](https://support.huaweicloud.com/usermanual-mgc/mgc_03_0150.html)。 #### 操作步骤 1. 登录[迁移中心管理控制台](https://console.huaweicloud.com/mgc/?#/guide)。在左侧导航栏的项目下拉列表中选择在完成准备工作时创建的[大数据迁移项目](https://support.huaweicloud.com/usermanual-mgc/mgc_03_0006.html)。 2. 在左侧导航栏选择"**数据迁移** "，进入**数据迁移**页面。 3. 单击页面右上角的"**创建迁移任务** "按钮，右侧弹出**创建迁移任务**窗口。 4. 源端组件选择"**MaxCompute** "，目的端组件选择"**数据湖探索 DLI** "，任务类型选择"**元数据全量迁移** "，单击"**下一步** "，进入**详细配置** 页面。 ![](https://support.huaweicloud.com/usermanual-mgc/zh-cn_image_0000001920918254.png "点击放大") 5. 根据[表1]，配置元数据全量迁移任务参数。 表1元数据全量迁移参数配置说明 | 区域 | 参数 | 配置说明 | |:---|:---|:---| | 基本信息 | 任务名称 | 默认创建名称为"MaxCompute到DLI元数据全量迁移-4位随机数（字母和数字）"，也可以自定义名称。 | | 基本信息 | 迁移中心Agent | 选择在完成[准备工作](https://support.huaweicloud.com/usermanual-mgc/mgc_03_0148.html#mgc_03_0148__section17673416367)时与迁移中心连接成功的MgC Agent。 | | 源端配置 | 源端连接 | 选择[创建的源端连接](https://support.huaweicloud.com/usermanual-mgc/mgc_03_0149.html)。 | | 源端配置 | MaxCompute参数 | 非必填参数，一般为空。如有需要，可参考[MaxCompute参数文档](https://help.aliyun.com/zh/maxcompute/user-guide/flag-parameters?spm=a2c4g.11186623.0.i4)进行配置。 | | 数据范围 | 按库筛选 | 即按数据库进行筛选，在数据库参数框中输入待迁移的数据库名称。单击"添加数据库"，可以新增数据库，最多支持同时添加10个数据库。不输入数据库名称，将默认迁移所有数据库。 ![](https://support.huaweicloud.com/usermanual-mgc/zh-cn_image_0000002115721142.png "点击放大") 如果数据库中有不需要迁移的表，可以下载CSV格式的"排除表"模板，参考[2.]\~[5.]在模板中添加不需要迁移的表信息，然后上传至MgC。 | | 数据范围 | 按表筛选 | 1. 下载CSV格式的模板。 2. 下载后用**记事本** 打开该CSV模板文件。 注意： - 请不要使用Excel对CSV模板文件进行编辑，通过Excel编辑并保存的模板文件无法被MgC识别。 - 上传的CSV模板文件大小不得超过240KB。 3. 保留CSV文件中的第一行不变，从第二行开始，每行填写一个表的迁移信息，格式为"{MC项目名},{表名}"，其中MC项目名代表MaxCompute项目名称，表名代表具体的表名称。 须知： - 每行的"MC项目名"和"表名"之间使用**英文逗号**隔开，不要使用空格或其他分隔符。 - 每添加完一个表的信息后，使用回车键换行。 4. 完成所有表信息的添加后，保存CSV文件的更改。 5. 将编辑并保存好的CSV文件上传至MgC。 | | 数据范围 | 企业项目ID（可选） | 输入目的端DLI数据库所属的企业项目ID。企业项目ID的获取方法请参考[如何获取企业项目ID](https://support.huaweicloud.com/usermanual-em/zh-cn_topic_0126101490.html)。 | | 数据范围 | 内表转换 | - 选择内表进行迁移时，迁移后的元数据会存储在DLI中。 - 选择外表进行迁移时，在下方输入OBS路径，迁移后的元数据会存储在您指定的OBS路径下。 | | 目的端配置 | 覆盖策略 | 对已有表的处理策略 - 跳过：如果目的端已经存在同名的数据表，将忽略该表，不会对其进行任何操作。 - 重建：如果目的端已经存在同名的数据表，该表及其数据将被完全删除，并根据源端的定义重新创建。 | | 目的端配置 | 目的端连接 | 选择创建的[目的端DLI SQL队列连接](https://support.huaweicloud.com/usermanual-mgc/mgc_03_0150.html)。 注意： 切勿选择通用队列。 | | 目的端配置 | 自定义参数 | 根据实际需求进行配置，支持的自定义参数详情请参考[conf参数说明](https://support.huaweicloud.com/api-dli/dli_02_0102.html#dli_02_0102__table334825142314)和[自定义参数说明](https://support.huaweicloud.com/usermanual-mgc/mgc_03_1061.html)。 | | 目的端配置 | 表类型 | 根据实际情况选择。 | | 目的端配置 | 文件类型 | 根据实际情况选择。 | | 目的端配置 | 压缩格式 | 根据实际情况选择。 | | 迁移选项 | 并发连接数 | 设置迁移并发数。默认为3，1≤取值范围≤10。 | | 迁移选项 | 表路径映射（可选） | 用于确保在元数据迁移过程中，MaxCompute外表的元数据能够正确地迁移到目的端指定的存储位置，即在OSS中的源路径自动映射为目的端指定的OBS路径。 映射到目的端OBS的路径需要提前创建，并且除桶名以外，其余目录需要与源端OSS目录保存一致。 例如，源端表所在目录路径为：oss://oss-cn-hangzhou.aliyuncs.com/ali-test/documents/example_table，其中oss-cn-hangzhou.aliyuncs.com为桶所在地域的Endpoint，ali-test为桶名，documents为表的根目录，example_table为表目录。那么，映射到目的端的路径必须为：obs://hw-test/documents/example_table，除桶名外，根目录和表目录必须和源端一致。 填写示例： - 源端：oss://oss-cn-hangzhou.aliyuncs.com/ali-test/documents/example_table - 目的端：obs://hw-test/documents/example_table 说明： 以上路径仅为示例，请在实际使用中替换为正确的路径。 | 6. 配置完成后，选择任务的运行方式。 ![](https://support.huaweicloud.com/usermanual-mgc/public_sys-resources/notice_3.0-zh-cn.png) - 创建的迁移任务可重复运行，每运行一次，即会生成一条任务实例。 - 单击任务名称，可以修改任务配置。 - **立即运行** ：如果需要立即运行迁移任务，可以勾选"**保存后立即运行** "，然后单击"**保存** "按钮，会在**任务管理** 列表中生成一条元数据全量迁移任务并自动开始执行迁移。 ![](https://support.huaweicloud.com/usermanual-mgc/zh-cn_image_0000001924238696.png "点击放大") - **手动运行** ：如果需要后续手动启动迁移任务，则只需单击"**保存** "按钮，在**任务管理** 列表中生成一条元数据全量迁移任务。在需要启动迁移时，单击操作列的"**运行** "，手动启动迁移。 ![](https://support.huaweicloud.com/usermanual-mgc/zh-cn_image_0000002266621609.png "点击放大") 7. 迁移任务运行后，单击操作列的"**查看实例** "，进入**任务进度** 页签，可以查看该任务产生的运行实例以及迁移进度。 ![](https://support.huaweicloud.com/usermanual-mgc/zh-cn_image_0000002231502900.png "点击放大") 单击进度统计列的"**查看** "，进入进度详情页面，可以[查看并导出任务结果](https://support.huaweicloud.com/usermanual-mgc/mgc_03_0172.html)。