# 全量数据迁移
将源端数据库中的所有数据迁移到目的端华为云数据湖探索（DLI）。
#### 使用须知
- 当迁移的表数量较多或单个表的列数较多时，迁移过程可能会耗费较长时间。
- 在数据迁移时，如果重复迁移分区数据时提示错误信息："Do not support update partition SerDeInfo for DLI table"，需要您手动删除DLI中的分区数据，然后再进行迁移。
- 使用SQL查询MaxCompute中的informationschema数据时，因informationschema数据并非实时更新，通常存在约 3 小时的延迟。当源端新增表后，informationschema中可能尚未反映这些新表的信息，从而会出现迁移后数据表不一致的情况。
 
#### 前提条件
- 已完成所有[准备工作](https://support.huaweicloud.com/usermanual-mgc/mgc_03_0148.html)。
- 已[创建源端连接](https://support.huaweicloud.com/usermanual-mgc/mgc_03_0149.html)。
- 已[创建目的端连接](https://support.huaweicloud.com/usermanual-mgc/mgc_03_0150.html)。

- 开始迁移前，需要联系技术支持人员，将您添加到允许jar程序访问DLI元数据功能的白名单中。
 
#### 操作步骤
1. 登录[迁移中心管理控制台](https://console.huaweicloud.com/mgc/?#/guide)。在左侧导航栏的项目下拉列表中选择在完成准备工作时创建的[大数据迁移项目](https://support.huaweicloud.com/usermanual-mgc/mgc_03_0006.html)。
2. 在左侧导航栏选择"**数据迁移** "，进入**数据迁移**页面。
3. 单击页面右上角的"**创建迁移任务** "按钮，右侧弹出**创建迁移任务**窗口。
4. 源端组件选择"**MaxCompute** "，目的端组件选择"**数据湖探索 DLI** "，任务类型选择"**全量数据迁移** "，单击"**下一步** "，进入**详细配置** 页面。
   
   ![](https://support.huaweicloud.com/usermanual-mgc/zh-cn_image_0000001952076717.png "点击放大")
   
   
5. 根据[表1]，配置全量数据迁移任务参数。
   
    表1全量数据迁移参数配置说明 
   | 区域           | 参数               | 配置说明                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                               |
   |:---|:---|:---|
   | 基本信息  | 任务名称              | 默认创建名称为"MaxCompute到DLI全量数据迁移-4位随机数（字母和数字）"，也可以自定义名称。                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                            |
   | 基本信息  | 迁移中心Agent           | 选择在完成[准备工作](https://support.huaweicloud.com/usermanual-mgc/mgc_03_0148.html#mgc_03_0148__section17673416367)时与迁移中心连接成功的MgC Agent。                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                |
   | 源端配置  | 源端连接             | 选择[创建的源端连接](https://support.huaweicloud.com/usermanual-mgc/mgc_03_0149.html)。                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                      |
   | 源端配置  | MaxCompute参数（可选） | 非必填参数，一般为空。如有需要，可参考[MaxCompute参数文档](https://help.aliyun.com/zh/maxcompute/user-guide/flag-parameters?spm=a2c4g.11186623.0.i4)进行配置。                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                               |
   | 数据范围  | 预估项目周期（天）（可选）      | 配置后，系统会在任务执行时检查表的生命周期。若表的生命周期在项目的预期结束时间之前终止，则忽略该表。不配置则默认迁移所有表。                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                    |
   | 数据范围  | 按库筛选       | 即按数据库进行筛选，在数据库参数框中输入待迁移的数据库名称。单击"添加数据库"，可以新增数据库，最多支持同时添加10个数据库。不输入数据库名称，将默认迁移所有数据库。 ![](https://support.huaweicloud.com/usermanual-mgc/zh-cn_image_0000002146976341.png "点击放大") 如果数据库中有不需要迁移的表，可以下载CSV格式的"排除表"模板，参考[2.]\~[5.]在模板中添加不需要迁移的表信息，然后上传至MgC。                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                 |
   | 数据范围  | 按表筛选             | 1. 下载CSV格式的模板。  2. 下载后用**记事本** 打开该CSV模板文件。 注意： - 请不要使用Excel对CSV模板文件进行编辑，通过Excel编辑并保存的模板文件无法被MgC识别。  - 上传的CSV模板文件大小不得超过240KB。     3. 保留CSV文件中的第一行不变，从第二行开始，每行填写一个表的迁移信息，格式为"{MC项目名},{表名}"，其中MC项目名代表MaxCompute项目名称，表名代表具体的表名称。 须知： - 每行的"MC项目名"和"表名"之间使用**英文逗号**隔开，不要使用空格或其他分隔符。  - 每添加完一个表的信息后，使用回车键换行。     4. 完成所有表信息的添加后，保存CSV文件的更改。  5. 将编辑并保存好的CSV文件上传至MgC。                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                          |
   | 目的端配置       | 目的端连接             | 选择创建的[目的端DLI 通用队列连接](https://support.huaweicloud.com/usermanual-mgc/mgc_03_0150.html)。 注意： 切勿选择DLI SQL队列。                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                            |
   | 目的端配置       | 自定义参数            | 根据实际需求进行配置，支持的自定义参数详情请参考[conf参数说明](https://support.huaweicloud.com/api-dli/dli_02_0102.html#dli_02_0102__table334825142314)和[自定义参数说明](https://support.huaweicloud.com/usermanual-mgc/mgc_03_1061.html)。 - 如果是**公网迁移** ，需要填写以下4个参数： ![](https://support.huaweicloud.com/usermanual-mgc/zh-cn_image_0000002016928705.png "点击放大") - spark.dli.metaAccess.enable：填写true。  - spark.dli.job.agency.name：填写在完成准备工作时配置的[DLI委托权限名称](https://support.huaweicloud.com/usermanual-mgc/mgc_03_0148.html#mgc_03_0148__section1291694416394)。  - mgc.mc2dli.data.migration.dli.file.path：填写在完成准备工作时[存放migration-dli-spark-1.0.0.jar包的OBS路径](https://support.huaweicloud.com/usermanual-mgc/mgc_03_0148.html#mgc_03_0148__section20664736131414)。例如：obs://mgc-test/data/migration-dli-spark-1.0.0.jar  - mgc.mc2dli.data.migration.dli.spark.jars：填写在完成准备工作时[存放fastjson-1.2.54.jar和datasource.jar包的OBS路径](https://support.huaweicloud.com/usermanual-mgc/mgc_03_0148.html#mgc_03_0148__section20664736131414)，以数组形式传入，路径带双引号，以英文逗号隔开。例如：\["obs://mgc-test/data/datasource.jar","obs://mgc-test/data/fastjson-1.2.54.jar"\]    - 如果是**专线迁移** ，需要填写以下8个参数： ![](https://support.huaweicloud.com/usermanual-mgc/zh-cn_image_0000002017023085.png "点击放大") - spark.dli.metaAccess.enable：填写true。  - spark.dli.job.agency.name：填写在完成准备工作时配置的[DLI委托权限名称](https://support.huaweicloud.com/usermanual-mgc/mgc_03_0148.html#mgc_03_0148__section1291694416394)。  - mgc.mc2dli.data.migration.dli.file.path：填写在完成准备工作时[存放migration-dli-spark-1.0.0.jar包的OBS路径](https://support.huaweicloud.com/usermanual-mgc/mgc_03_0148.html#mgc_03_0148__section20664736131414)。例如：obs://mgc-test/data/migration-dli-spark-1.0.0.jar  - mgc.mc2dli.data.migration.dli.spark.jars：填写在完成准备工作时[存放fastjson-1.2.54.jar和datasource.jar包的OBS路径](https://support.huaweicloud.com/usermanual-mgc/mgc_03_0148.html#mgc_03_0148__section20664736131414)，以数组形式传入，路径带双引号，以英文逗号隔开。例如：\["obs://mgc-test/data/datasource.jar","obs://mgc-test/data/fastjson-1.2.54.jar"\]  - spark.sql.catalog.mc_catalog.tableWriteProvider：填写tunnel。  - spark.sql.catalog.mc_catalog.tableReadProvider：填写tunnel。  - spark.hadoop.odps.end.point：填写源端MaxCompute服务所在地域的**VPC网络Endpoint** 信息。各地域**VPC网络** **Endpoint** 信息请参考[Endpoint对照表](https://help.aliyun.com/zh/maxcompute/user-guide/endpoints#section-oit-45y-23z)。例如：源端所在地域为"香港"，则填写"http://service.cn-hongkong.maxcompute.aliyun-inc.com/api"  - spark.hadoop.odps.tunnel.end.point：填写源端MaxCompute服务所在地域的**VPC网络Tunnel Endpoin** **t** 信息。各地域**VPC网络** **Tunnel Endpoin** **t** 信息请参考[Endpoint对照表](https://help.aliyun.com/zh/maxcompute/user-guide/endpoints#section-oit-45y-23z)。例如：源端所在地域为"香港"，则填写"http://dt.cn-hongkong.maxcompute.aliyun-inc.com"     |
   | 迁移选项         | 大表规则               | 设置大表条件，当符合大表的条件时，将自动按分区拆分迁移子任务。建议保持默认，也可根据实际需求修改。                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                |
   | 迁移选项         | 子任务合并规则          | 用于控制子任务的生成逻辑。当一个子任务中分区或表的大小总计达到设定的阈值时，会触发生成一个新的子任务。随后继续累加，直到再次达到阈值，重复上述过程。 例如，阈值设置为1 GB，当子任务中的分区或表的总大小累计达到1 GB时，系统会将这些分区或表分配到当前子任务中。剩余的分区或表将被拆分到一个新的子任务中，继续累加，直到再次达到1 GB，重复上述过程。                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                   |
   | 迁移选项         | 并发连接数              | 设置迁移并发数。默认为3，1≤取值范围≤10。                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                           |
   | 迁移选项         | 自定义参数（可选）          | - mgc.mc2dli.data.migration.table.filter.sdk.enable：设置MaxCompute获取表的方式是否为SDK/SQL，默认为：false。迁移分区表时，参数值必须设置为：true。  - mgc.mc2dli.data.migration.mc.table.size.skip：查询表tableSize开关，默认为：true。  - mgc.mc2dli.data.migration.sub.merge.number：子任务中可以包含的表或分区数量之和，默认为：10。   更多自定义参数详情请参考[conf参数说明](https://support.huaweicloud.com/api-dli/dli_02_0102.html#dli_02_0102__table334825142314)和[自定义参数说明](https://support.huaweicloud.com/usermanual-mgc/mgc_03_1061.html)。                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                            |
      
   
   
6. 配置完成后，选择任务的运行方式。 
   ![](https://support.huaweicloud.com/usermanual-mgc/public_sys-resources/notice_3.0-zh-cn.png)
   - 创建的迁移任务可重复运行，每运行一次，即会生成一条任务实例。
   
   - 单击任务名称，可以修改任务配置。
    
   - **立即运行** ：如果需要立即运行迁移任务，可以勾选"**保存后立即运行** "，然后单击"**保存** "按钮，会在**任务管理** 列表中生成一条全量数据迁移任务并自动开始执行迁移。
     ![](https://support.huaweicloud.com/usermanual-mgc/zh-cn_image_0000002191144746.png "点击放大")
     
   
   - **手动运行** ：如果需要后续手动启动迁移任务，则只需单击"**保存** "按钮，在**任务管理** 列表中生成一条全量数量迁移任务。在需要启动迁移时，单击操作列的"**运行** "，手动启动迁移。
     ![](https://support.huaweicloud.com/usermanual-mgc/zh-cn_image_0000002226595245.png "点击放大")
     
   
   
   
   
7. 迁移任务运行后，在**任务管理** 页签，单击操作列的"**查看实例** "，进入**任务进度** 页签，可以查看该任务产生的运行实例以及迁移进度。
   
   ![](https://support.huaweicloud.com/usermanual-mgc/zh-cn_image_0000002191378978.png "点击放大")
   单击状态列的"**重新运行**"，可以多次运行迁移实例。
   ![](https://support.huaweicloud.com/usermanual-mgc/zh-cn_image_0000001925150194.png "点击放大")
   单击进度统计列的"**查看** "，进入**进度详情** 页面。可以查看迁移的数据表清单、状态并[导出任务结果](https://support.huaweicloud.com/usermanual-mgc/mgc_03_0172.html)。
   ![](https://support.huaweicloud.com/usermanual-mgc/zh-cn_image_0000001925218122.png "点击放大")
   
   
8. （可选）数据迁移完成后，可以使用MgC提供的大数据校验功能，对源端和目的端数据进行一致性校验。详细的操作步骤请参考[MaxCompute迁移至DLI数据校验](https://support.huaweicloud.com/bestpractice-mgc/mgc_05_0022.html)。