# 元数据增量感知
识别出上一次迁移后，在源端数据库中发生变化的元数据，并同步至目的端华为云MRS Hive。
#### 前提条件
- 已[创建源端连接](https://support.huaweicloud.com/usermanual-mgc/mgc_03_31134.html)。
- 已[创建目的端连接](https://support.huaweicloud.com/usermanual-mgc/mgc_03_31135.html)。
- 最少完成一次[元数据全量迁移](https://support.huaweicloud.com/usermanual-mgc/mgc_03_31137.html)。
 
#### 操作步骤
1. 登录[迁移中心管理控制台](https://console.huaweicloud.com/mgc/?#/guide)。在左侧导航栏的项目下拉列表中选择在完成准备工作时创建的[大数据迁移项目](https://support.huaweicloud.com/usermanual-mgc/mgc_03_0006.html)。
2. 在左侧导航栏选择"**数据迁移** "，进入**数据迁移**页面。
3. 单击页面右上角的"**创建迁移任务** "按钮，右侧弹出**创建迁移任务**窗口。
4. 源端组件和目的端组件均选择"**Hive** "，任务类型选择"**元数据增量感知** "，单击"**下一步** "，进入**详细配置** 页面。
   
   ![](https://support.huaweicloud.com/usermanual-mgc/zh-cn_image_0000002178855180.png "点击放大")
   
   
5. 根据[表1]，配置元数据增量感知任务参数。
   
    表1元数据增量感知参数配置说明 
   | 区域                | 参数          | 配置说明                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                |
   |:---|:---|:---|
   | 基本信息       | 任务名称         | 默认创建名称为"Hive到Hive元数据增量感知-4位随机数（字母和数字）"，也可以自定义名称。                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                 |
   | 基本信息       | 迁移中心Agent  | 选择在完成[准备工作](https://support.huaweicloud.com/usermanual-mgc/mgc_03_31133.html#mgc_03_31133__section17673416367)时与迁移中心连接成功的MgC Agent。                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                               |
   | 源端配置       | 源端连接        | 选择[创建的源端连接](https://support.huaweicloud.com/usermanual-mgc/mgc_03_31134.html)。                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                      |
   | 源端配置       | Hive参数       | - fsEndpoint：填写用来指定Hadoop文件系统（HDFS）的默认名称节点（NameNode）的地址。例如：hdfs://hacluster  - warehousePath：填写源端Hive 数据仓库路径。例如：/user/hive/warehouse                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                               |
   | 数据范围          | 按库筛选  | 即按数据库进行筛选，在数据库参数框中输入需要增量待迁移的数据库名称。单击"**添加数据库**"，可以新增数据库，最多支持同时添加10个数据库。不输入数据库名称，将默认迁移所有数据库。 ![](https://support.huaweicloud.com/usermanual-mgc/zh-cn_image_0000002177782790.png "点击放大") 如果数据库中有不需要迁移的表，可以下载CSV格式的"**排除表** "模板，参考[2.]\~[5.]在模板中添加不需要迁移的表信息，然后上传至MgC。                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                    |
   | 数据范围          | 按表筛选        | 1. 下载CSV格式的模板。  2. 下载后用**记事本** 打开该CSV模板文件。 注意： - 请不要使用Excel对CSV模板文件进行编辑，通过Excel编辑并保存的模板文件无法被MgC识别。  - 上传的CSV模板文件大小不得超过240KB。     3. 保留CSV文件中的第一行不变，从第二行开始，每行填写一个表的迁移信息，格式为"{数据库名},{表名}"，其中数据库名代表待迁移的数据库名称，表名代表待迁移的表名称。 须知： - 每行的"数据库名"和"表名"之间使用**英文逗号**隔开，不要使用空格或其他分隔符。  - 每添加完一个表的信息后，使用回车键换行。     4. 完成所有表信息的添加后，保存CSV文件的更改。  5. 将编辑并保存好的CSV文件上传至MgC。   |
   | 数据范围          | 排除类型           | 选择不需要迁移的组件数据类型。                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                    |
   | 目的端配置            | 目的端连接        | 选择创建的[创建目的端连接](https://support.huaweicloud.com/usermanual-mgc/mgc_03_31135.html)。 注意： 切勿选择通用队列。                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                      |
   | 目的端配置            | 自定义参数       | - fsEndpoint：填写用来指定Hadoop文件系统（HDFS）的默认名称节点（NameNode）的地址。例如：hdfs://hacluster  - warehousePath：填写目的端Hive 数据仓库路径。例如：/user/hive/warehouse                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                            |
   | 迁移选项   | 并发连接数         | 设置迁移并发数。默认为3，1≤取值范围≤10。                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                            |
   | 迁移选项   | 自定义参数（可选）    | - clearOnlyTargetExist：用于设置是否清除仅目的端存在的表。取值范围： - true  - false   说明： 仅在migrateDataAfterIncrementalDetection为**true**时生效。   - formattedTypeMigrated：用于设置是否迁移格式化类型的表。取值范围： - true  - false   说明： 仅在migrateDataAfterIncrementalDetection为**true**时生效。   - migrateDataAfterIncrementalDetection：用于设置在进行增量感知后是否迁移数据。取值范围： - true  - false                                           |
      
   
   
6. 配置完成后，选择任务的运行方式。 
   ![](https://support.huaweicloud.com/usermanual-mgc/public_sys-resources/notice_3.0-zh-cn.png)
   - 创建的迁移任务可重复运行，每运行一次，即会生成一条任务实例。
   
   - 单击任务名称，可以修改任务配置。
    
   - **立即运行** ：如果需要立即运行迁移任务，可以勾选"**保存后立即运行** "，然后单击"**保存** "按钮，会在**任务管理** 列表中生成一条元数据增量感知任务并自动开始执行迁移。
     ![](https://support.huaweicloud.com/usermanual-mgc/zh-cn_image_0000002177942558.png "点击放大")
     
   
   - **手动运行** ：如果需要后续手动启动迁移任务，则只需单击"**保存** "按钮，在**任务管理** 列表中生成一条元数据增量感知任务。在需要启动迁移时，单击操作列的"**运行**"，手动启动迁移。
   
   
   
   
7. 迁移任务运行后，单击操作列的"**查看实例** "，进入**任务进度** 页签，可以查看该任务产生的运行实例以及迁移进度。
   
   ![](https://support.huaweicloud.com/usermanual-mgc/zh-cn_image_0000002178712824.png "点击放大")
   单击进度统计列的"**查看** "，进入**进度详情** 页面。可以查看元数据的增量感知结果并[导出任务结果](https://support.huaweicloud.com/usermanual-mgc/mgc_03_31139.html)。
   ![](https://support.huaweicloud.com/usermanual-mgc/zh-cn_image_0000002214120113.png "点击放大")
   
   
8. 单击**进度详情** 页面右上角的"**打开DDL编辑器**"，可以根据不同的增量感知结果，对源端和目的端的表结构进行比较和编辑。