# MaxCompute迁移至MRS Hive数据校验 本文主要介绍将阿里云 **MaxCompute**数据迁移至华为云MRS Hive后，使用迁移中心 MgC进行数据一致性校验的步骤和方法。 #### 准备工作 需要先在源端内网环境中安装用于配合数据校验的工具MgC Agent并登录，方法请参见[安装Linux版本的MgC Agent](https://support.huaweicloud.com/tg-mgc/mgc_04_0001.html)。 #### 操作步骤 1. 登录[迁移中心管理控制台](https://console.huaweicloud.com/mgc/?#/guide)。 2. 单击左侧导航栏的"**配置管理** "，进入**配置管理**页面。 3. 在"**项目管理** "页签，单击"**创建项目** "，右侧弹出**创建新项目** 窗口。 图1创建项目 ![](https://support.huaweicloud.com/bestpractice-mgc/zh-cn_image_0000002167528681.png "点击放大") 4. 项目类型选择"**大数据迁移** "，输入自定义项目名称，单击"**创建** "。 图2创建大数据迁移项目 ![](https://support.huaweicloud.com/bestpractice-mgc/zh-cn_image_0000002203945321.png "点击放大") 5. 创建项目完成后，参考[连接迁移中心](https://support.huaweicloud.com/tg-mgc/mgc_03_0073.html)，将MgC Agent与云端MgC控制台建立连接。 6. 连接成功后，需要在MgC Agent上分别添加源端"**大数据-MaxCompute** "凭证、目的端"**大数据** -**Hive Metastore** "凭证和目的端"**MRS执行机** "凭证，认证方式分别选择"**AK/SK** "、"**用户名/密钥** "、"**用户名/密码** "。凭证的添加方法请参考[添加资源凭证](https://support.huaweicloud.com/tg-mgc/mgc_03_0016.html)。 - **MaxCompute** 侧的AK/SK获取方法请参考[查看RAM用户的AccessKey信息](https://help.aliyun.com/zh/ram/user-guide/view-the-accesskey-pairs-of-a-ram-user?spm=a2c4g.11186623.0.0.1b51437aenw8Sm)。 - **Hive Metastore** 凭证文件的获取方法请参考[大数据-Hive Metastore凭证文件获取方法](https://support.huaweicloud.com/tg-mgc/mgc_04_2008.html)。 7. 在MgC控制台左侧导航栏选择"**数据校验** "，进入**大数据校验** 页面。在左侧导航栏的项目下拉列表中选择步骤**4.**创建的项目。 8. 首次使用大数据校验功能时，需要先启用MgC Agent。单击"**选择并启用迁移中心Agent** "按钮，在弹窗的下拉列表中，选择与迁移中心连接成功的MgC Agent。 ![](https://support.huaweicloud.com/bestpractice-mgc/public_sys-resources/caution_3.0-zh-cn.png) 在进行大数据校验时，请确保MgC Agent一直处于在线并启用状态。 9. 在**功能入口** 区域，单击"**迁移准备** "，进入**迁移准备**页面。 10. 选择"**连接管理** "，单击"**创建连接** "，右侧弹出**新增连接** 窗口。 图3创建连接 ![](https://support.huaweicloud.com/bestpractice-mgc/zh-cn_image_0000002139537610.png "点击放大") 11. 连接类型选择"**MaxCompute** "，单击"**下一步**"。 12. 根据[MaxCompute连接参数配置说明]，配置连接参数后，单击"**测试连接** "按钮，测试通过代表连接成功。 表1MaxCompute连接参数配置说明 | 参数 | 配置说明 | |:---|:---| | 所属源 | 选择源端。 | | 连接名称 | 默认创建名称为"MaxCompute-4位随机数（字母和数字）"，也可以自定义名称。 | | 迁移中心Agent | 选择[步骤5.]与MgC建立连接的MgC Agent。 | | 阿里云凭证 | 选择[步骤6.]在MgC Agent侧添加的**MaxCompute**凭证。 | | 项目名称 | 输入需要采集的MaxCompute项目名称。项目名称可在MaxCompute侧控制台获取。 | | Endpoint | 输入MaxCompute服务所在地域的Endpoint信息。 各地域Endpoint信息请参考[Endpoint对照表](https://help.aliyun.com/zh/maxcompute/user-guide/endpoints#section-f2d-51y-5db)。 | 13. 测试连接通过后，单击"**确认**"按钮，创建云服务连接完成。 14. 选择**元数据管理** ，单击**创** **建元数据同步任务** 按钮，右侧弹出**创建任务-元数据同步** 窗口。 图4创建元数据同步任务 ![](https://support.huaweicloud.com/bestpractice-mgc/zh-cn_image_0000002187116637.png "点击放大") 15. 根据[元数据同步任务参数配置说明]，配置元数据同步任务参数后，单击"**确认** "按钮，创建元数据同步任务。 表2元数据同步任务参数配置说明 | 参数 | 配置说明 | |:---|:---| | 任务名称 | 默认创建名称为"元数据同步任务-4位随机数（字母和数字）"，也可以自定义名称。 | | 元数据连接 | 选择[步骤12.]创建的元数据连接。 | | 数据库 | 填写需要进行元数据同步的数据库名称，如果有多个数据库，库名之间用逗号隔开。 须知： 元数据连接为**MaxCompute**类型时，该参数为必填参数，不能为空。 | | 并发线程数 | 设置采集线程并发数。默认为3，1≤取值范围≤10。增加线程并发数，可以提高同步效率，但会占用更多源端连接和MgC Agent所安装主机的计算资源。 | 16. 在**任务管理** 页签，可以查看已创建的元数据同步任务列表以及参数配置信息。单击操作列的"**更多\>修改** "，可以修改任务参数配置。 图5元数据同步任务管理 ![](https://support.huaweicloud.com/bestpractice-mgc/zh-cn_image_0000002151807158.png "点击放大") 17. 单击操作列的"**运行任务**"，即可触发一次任务执行。每执行一次任务，会生成一条任务实例。 18. 单击操作列的"**查看实例** "，进入**任务实例管理** 页签。可以查看该任务的运行记录，以及每条任务实例的状态和采集结果。当元数据同步任务的实例状态为"**已完成** "且采集结果有数值时，在**库表清单** 页签可以查看采集到的元数据列表。 图6任务实例管理 ![](https://support.huaweicloud.com/bestpractice-mgc/zh-cn_image_0000002187126189.png "点击放大") 19. 在**数据校验** 页面的**功能入口** 区域，单击"**表管理** "，进入**表管理** 页面的**表组**页签。 20. 单击"**新增表组** "，弹出**新增表组** 窗口。根据[新增表组参数说明]，配置参数后，单击"**确认** "按钮，创建表组。 表3新增表组参数说明 | 参数 | 说明 | |:---|:---| | 表组名 | 用户自定义 | | 元数据连接 | 选择[步骤12.]创建的元数据连接。 注意： 表组中的所有表必须来源于同一个元数据来源。 | | 校验标准 | 选择可以接受的数据差异最大值（即错误容忍度）。MgC提供了多种类型的对数标准可供选择，关于对数标准的详细说明，可以单击新增表组弹窗中的"**查看更多**"进行查看。 | | 说明（可选） | 您可以输入用于区分表组的说明。 | 21. 在**表管理** 页面，选择**库表清单** 页签，勾选要加入同一表组的数据表，单击列表上方的"**表组管理 \> 批量加入组** "，在弹出的**修改表组** 窗口中，选择要加入的表组，单击"**确认** "。 ![](https://support.huaweicloud.com/bestpractice-mgc/zh-cn_image_0000001883293554.png "点击放大") ![](https://support.huaweicloud.com/bestpractice-mgc/public_sys-resources/notice_3.0-zh-cn.png) 如果需要新增数据表，可以通过导入数据表的方式添加，方法请参考[导入数据表并加入表组](https://support.huaweicloud.com/usermanual-mgc/mgc_03_0107.html#section2)。 22. 在**功能入口** 区域，单击"**迁移准备** "，进入**迁移准备**页面。 23. 选择"**连接管理** "，单击"**创建连接** "，右侧弹出**新增连接** 窗口。 图7创建连接 ![](https://support.huaweicloud.com/bestpractice-mgc/zh-cn_image_0000002139537610.png "点击放大") 24. 连接类型选择"**MRS执行机** "，单击"**下一步** "，进入**详细配置**页面。 25. 根据[表4]，配置连接参数后，单击"**测试连接** "按钮，测试通过代表连接成功。 表4MRS执行机参数配置说明 | 参数 | 配置说明 | |:---|:---| | 所属源 | 选择**目的端**。 | | 连接名称 | 默认创建名称为"执行机类型-4位随机数（字母和数字）"，也可以自定义名称。 | | 迁移中心Agent | 选择[步骤5.]与MgC建立连接的MgC Agent。 | | 执行机凭证 | 选择[步骤6.]在MgC Agent侧添加的目的端**MRS执行机**凭证。 | | 执行机IP | 填写连接执行机的IP地址。 | | 执行机连接端口 | 填写连接执行机的端口，默认为22端口。 | | 安装目录 | 填写MRS客户端的安装目录路径。即安装客户端时，"./install.sh" 所填写的地址。 | | SQL文件地址 | 填写用于存放执行作业时生成的SQL文件的文件夹地址。您需要拥有该文件夹的读写权限。 须知： 迁移完成后，您需要手动清理该路径下生成的文件夹，以释放存储空间。 | | 采集资源使用信息 | 可选参数。开启后，通过该连接创建的统计任务将收集大数据服务的资源使用信息，这些信息将用于MgC上的报告生成，以便于进行性能优化。 须知： 使用该功能，需要MgC Agent添加的华为云账号AK/SK拥有MRS服务和DLI服务的只读权限（ReadOnly）。 - 如果所选凭证与登录迁移中心 MgC的账号凭证相同，请勾选"**所选凭证与登录迁移中心凭证相同** "，系统将根据所选的区域，自动查询账号在该区域下的项目。 - 区域：选择需要校验的数据所在区域/项目。 - 项目：选择需要校验的数据所在项目。 - 集群ID：输入需要校验的数据所在集群ID。 - 如果所选凭证与登录迁移中心 MgC的账号凭证不同，请手动输入如下参数信息： - 区域ID：输入需要校验的数据所在区域ID。例如，区域为"华南-广州"，则输入"cn-south-1" - 项目ID：输入与区域对应的项目ID。 - 集群ID：输入需要校验的数据所在集群ID。 说明： - 区域ID和项目ID可以在"我的凭证 \> [API凭证](https://console.huaweicloud.com/iam/?#/mine/apiCredential)"查看。 - 集群ID的获取方法请参考获取[MRS集群ID](https://support.huaweicloud.com/api-mrs/mrs_02_9001.html#section1)。 | 26. 在MgC控制台，创建Hive统计任务并执行，方法请参考[创建统计任务并执行校验](https://support.huaweicloud.com/usermanual-mgc/mgc_03_0108.html)。需要注意任务配置中的表组，选择步骤[步骤20.]创建的表组；执行机连接选择[步骤25.]创建的MRS执行机连接。 - **任务类型** 请选择大数据组件中的"**Hive**"。 - 统计方式按实际需求选择，各统计方式说明请参见[校验方式说明](https://support.huaweicloud.com/usermanual-mgc/mgc_03_0101.html)。 27. 当任务执行完成后（实例状态为"已完成"），在**校验结果** 页面可以查看并导出任务的执行结果，方法请参考[查看并导出校验结果](https://support.huaweicloud.com/usermanual-mgc/mgc_03_0109.html)。 ![](https://support.huaweicloud.com/bestpractice-mgc/zh-cn_image_0000001887930472.png "点击放大")