元数据增量感知

前提条件

• 已创建源端连接。
• 已创建目的端连接。
• 最少完成一次元数据全量迁移。

操作步骤

1. 登录迁移中心管理控制台。在左侧导航栏的项目下拉列表中选择在完成准备工作时创建的大数据迁移项目。
2. 在左侧导航栏选择“数据迁移”，进入数据迁移页面。
3. 单击页面右上角的“创建迁移任务”按钮，右侧弹出创建迁移任务窗口。
4. 源端组件和目的端组件均选择“Hive”，任务类型选择“元数据增量感知”，单击“下一步”，进入详细配置页面。

   

5. 根据表1，配置元数据增量感知任务参数。

   表1 元数据增量感知参数配置说明

   区域	参数	配置说明
   基本信息	任务名称	默认创建名称为“Hive到Hive元数据增量感知-4位随机数（字母和数字）”，也可以自定义名称。
   	迁移中心Agent	选择在完成准备工作时与迁移中心连接成功的MgC Agent。
   源端配置	源端连接	选择创建的源端连接。
   	Hive参数	fsEndpoint：填写用来指定Hadoop文件系统（HDFS）的默认名称节点（NameNode）的地址。例如：hdfs://hacluster warehousePath：填写源端Hive 数据仓库路径。例如：/user/hive/warehouse
   数据范围	按库筛选	即按数据库进行筛选，在数据库参数框中输入需要增量待迁移的数据库名称。单击“添加数据库”，可以新增数据库，最多支持同时添加10个数据库。不输入数据库名称，将默认迁移所有数据库。 如果数据库中有不需要迁移的表，可以下载CSV格式的“排除表”模板，参考2.~5.在模板中添加不需要迁移的表信息，然后上传至MgC。
   	按表筛选	下载CSV格式的模板。 下载后用记事本打开该CSV模板文件。 注意： 请不要使用Excel对CSV模板文件进行编辑，通过Excel编辑并保存的模板文件无法被MgC识别。 上传的CSV模板文件大小不得超过240KB。 保留CSV文件中的第一行不变，从第二行开始，每行填写一个表的迁移信息，格式为“{数据库名},{表名}”，其中数据库名代表待迁移的数据库名称，表名代表待迁移的表名称。 须知： 每行的“数据库名”和“表名”之间使用英文逗号隔开，不要使用空格或其他分隔符。 每添加完一个表的信息后，使用回车键换行。 完成所有表信息的添加后，保存CSV文件的更改。 将编辑并保存好的CSV文件上传至MgC。
   	排除类型	选择不需要迁移的组件数据类型。
   目的端配置	目的端连接	选择创建的创建目的端连接。 注意： 切勿选择通用队列。
   	自定义参数	fsEndpoint：填写用来指定Hadoop文件系统（HDFS）的默认名称节点（NameNode）的地址。例如：hdfs://hacluster warehousePath：填写目的端Hive 数据仓库路径。例如：/user/hive/warehouse
   迁移选项	并发连接数	设置迁移并发数。默认为3，1≤取值范围≤10。
   	自定义参数（可选）	clearOnlyTargetExist：用于设置是否清除仅目的端存在的表。取值范围： true false 说明： 仅在migrateDataAfterIncrementalDetection为true时生效。 formattedTypeMigrated：用于设置是否迁移格式化类型的表。取值范围： true false 说明： 仅在migrateDataAfterIncrementalDetection为true时生效。 migrateDataAfterIncrementalDetection：用于设置在进行增量感知后是否迁移数据。取值范围： true false

6. 配置完成后，选择任务的运行方式。
   

   • 创建的迁移任务可重复运行，每运行一次，即会生成一条任务实例。
   • 单击任务名称，可以修改任务配置。
   • 立即运行：如果需要立即运行迁移任务，可以勾选“保存后立即运行”，然后单击“保存”按钮，会在任务管理列表中生成一条元数据增量感知任务并自动开始执行迁移。

     

   • 手动运行：如果需要后续手动启动迁移任务，则只需单击“保存”按钮，在任务管理列表中生成一条元数据增量感知任务。在需要启动迁移时，单击操作列的“运行”，手动启动迁移。

7. 迁移任务运行后，单击操作列的“查看实例”，进入任务进度页签，可以查看该任务产生的运行实例以及迁移进度。

   

   单击进度统计列的“查看”，进入进度详情页面。可以查看元数据的增量感知结果并导出任务结果。

   

8. 单击进度详情页面右上角的“打开DDL编辑器”，可以根据不同的增量感知结果，对源端和目的端的表结构进行比较和编辑。