元数据全量迁移

前提条件

• 已完成所有准备工作。
• 已创建源端连接。
• 已创建目的端连接。

操作步骤

1. 登录迁移中心控制台。
2. 在左侧导航栏选择“实施>大数据数据迁移”，进入大数据数据迁移页面。在页面左上角的当前项目下拉列表中选择在完成准备工作时所创建的迁移项目。
3. 单击页面右上角的“创建迁移任务”按钮，右侧弹出创建迁移任务窗口。

   

4. 源端组件选择“MaxCompute”，目的端组件选择“数据湖探索 DLI”，任务类型选择“元数据全量迁移”，单击“下一步”，进入详细配置页面。

   

5. 根据表1，配置元数据全量迁移任务参数。

   表1 元数据全量迁移参数配置说明

   区域	参数	配置说明
   基本信息	任务名称	默认创建名称为“MaxCompute到DLI元数据全量迁移-4位随机数（字母和数字）”，也可以自定义名称。
   	迁移工具	选择在完成准备工作时与迁移中心连接成功的Edge。
   源端配置	源端连接	选择创建的源端连接。
   	MaxCompute参数	非必填参数，一般为空。如有需要，可参考MaxCompute参数文档进行配置。
   数据范围	按库筛选	即按项目筛选，在数据库参数框中输入项目名即可。如果数据库中有不需要迁移的表，可以下载CSV格式的“排除表”模板，参考b.~e.在模板中添加不需要迁移的表信息，然后上传至MgC。
   	按表筛选	下载CSV格式的模板。 下载后用记事本打开该CSV模板文件。 注意： 请不要使用Excel对CSV模板文件进行编辑，通过Excel编辑并保存的模板文件无法被MgC识别。 保留CSV文件中的第一行不变，从第二行开始，每行填写一个表的迁移信息，格式为“{MC项目名},{表名}”，其中MC项目名代表MaxCompute项目名称，表名代表具体的表名称。 须知： 每行的“MC项目名”和“表名”之间使用英文逗号隔开，不要使用空格或其他分隔符。 每添加完一个表的信息后，使用回车键换行。 完成所有表信息的添加后，保存CSV文件的更改。 将编辑并保存好的CSV文件上传至MgC。
   目的端配置	覆盖策略	对已有表的处理策略 跳过：如果目的端已经存在同名的数据表，将忽略该表，不会对其进行任何操作。 重建：如果目的端已经存在同名的数据表，该表及其数据将被完全删除，并根据源端的定义重新创建。
   	目的端连接	选择创建的目的端DLI SQL队列连接。 注意： 切勿选择通用队列。
   	自定义参数	根据实际需求进行配置，支持的自定义参数详情请参考conf参数说明和自定义参数说明。
   	表类型	根据实际情况选择。
   	文件类型	根据实际情况选择。
   	压缩格式	根据实际情况选择。
   迁移选项	并发连接数	设置迁移并发数。默认为3，1≤取值范围≤10。
   	表路径映射（可选）	用于确保在元数据迁移过程中，MaxCompute外表的元数据能够正确地迁移到目的端指定的存储位置，即在OSS中的源路径自动映射为目的端指定的OBS路径。 映射到目的端OBS的路径需要提前创建，并且除桶名以外，其余目录需要与源端OSS目录保存一致。 例如，源端表所在目录路径为：oss://oss-cn-hangzhou.aliyuncs.com/ali-test/documents/example_table，其中oss-cn-hangzhou.aliyuncs.com为桶所在地域的Endpoint，ali-test为桶名，documents为表的根目录，example_table为表目录。那么，映射到目的端的路径必须为：obs://hw-test/documents/example_table，除桶名外，根目录和表目录必须和源端一致。 填写示例： 源端：oss://oss-cn-hangzhou.aliyuncs.com/ali-test/documents/example_table 目的端：obs://hw-test/documents/example_table 说明： 以上路径仅为示例，请在实际使用中替换为正确的路径。

6. 配置完成后，选择任务的运行方式。
   

   • 创建的迁移任务可重复运行，每运行一次，即会生成一条任务实例。
   • 单击任务名称，可以修改任务配置。
   • 立即运行：如果需要立即运行迁移任务，可以勾选“保存后立即运行”，然后单击“保存”按钮，会在任务管理列表中生成一条元数据全量迁移任务并自动开始执行迁移。

     

   • 手动运行：如果需要后续手动启动迁移任务，则只需单击“保存”按钮，在任务管理列表中生成一条元数据全量迁移任务。在需要启动迁移时，单击操作列的“运行”，手动启动迁移。

     

7. 迁移任务运行后，单击操作列的“查看实例”，进入任务进度页签，可以查看该任务产生的运行实例以及迁移进度。

   

   单击进度统计列的“查看”，进入进度详情页面，可以查看并导出任务结果。