# 阿里云 HBase标准版迁移至MRS HBase数据校验 本文主要介绍将阿里云 HBase标准版上的数据迁移至华为云MRS HBase后，使用迁移中心 MgC进行数据一致性校验的步骤和方法。 #### 准备工作 - 需要先在源端内网环境中安装用于配合数据校验的工具MgC Agent，方法请参见[安装Linux版本的MgC Agent](https://support.huaweicloud.com/tg-mgc/mgc_04_0001.html)。 - 将安装MgC Agent的主机IP地址，添加到HBase标准版集群的白名单分组中，方法请参考[设置白名单](https://help.aliyun.com/zh/hbase/getting-started/configure-a-whitelist-for-performance-enhanced-edition?spm=a2c4g.11186623.0.0.d0f47f5e9EBpKP#section-neb-csy-v6n)。 - 为HBase标准版集群开通外网地址，方法请参考[申请外网连接地址](https://help.aliyun.com/zh/hbase/getting-started/apply-for-a-public-endpoint-2?spm=a2c4g.11186623.0.0.48635202Z29zzR)。 - 需要将源端和目的端所有节点的主机名和IP地址映射添加到安装MgC Agent主机的/etc/hosts文件中，配置连接才能连接成功。 1. 在安装MgC Agent的主机上，打开/etc/hosts文件进行编辑。 2. 在/etc/hosts文件中，为每个源端和目的端节点添加一行，格式如下： ``` IP地址 主机名 ``` 例如，节点的IP地址是192.168.1.1，主机名是source-node-01，则添加： ``` 192.168.1.1 source-node-01 ``` 3. 完成所有映射的添加后，保存并关闭/etc/hosts文件。 4. 为了确保配置正确，可以通过ping命令测试主机名解析是否成功。例如： ``` ping source-node-01 ``` #### 操作步骤 1. 登录[迁移中心管理控制台](https://console.huaweicloud.com/mgc/?#/guide)。 2. 单击左侧导航栏的"**配置管理** "，进入**配置管理**页面。 3. 在"**项目管理** "页签，单击"**创建项目** "，右侧弹出**创建新项目** 窗口。 图1创建项目 ![](https://support.huaweicloud.com/bestpractice-mgc/zh-cn_image_0000002167528681.png "点击放大") 4. 项目类型选择"**大数据迁移** "，输入自定义项目名称，单击"**创建** "。 图2创建大数据迁移项目 ![](https://support.huaweicloud.com/bestpractice-mgc/zh-cn_image_0000002203945321.png "点击放大") 5. 创建项目完成后，参考[连接迁移中心](https://support.huaweicloud.com/tg-mgc/mgc_03_0073.html)，将MgC Agent与云端MgC控制台建立连接。 6. 连接成功后，需要在MgC Agent上分别添加**源端** **阿里云 HBase标准版** 凭证和**目的端MRS** **HBase** 凭证，凭证的添加方法请参考[添加资源凭证](https://support.huaweicloud.com/tg-mgc/mgc_03_0016.html)。 - **添加** **源端** **阿里云 HBase标准版** **凭证** ，资源类型选择"**大数据-云Hbase**"，输入自定义的凭证名称即可。 - **添加目的端MRS** **HBase** **凭证** ，资源类型选择"**大数据** -**HBase** "，认证方式选择"**用户名/密钥** "。其中**用户名** 输入HBase客户端登录用户名，**密钥** 需要上传以下配置文件： - 非安全集群（未开启Kerberos认证）需要上传core-site.xml，hdfs-site.xml，yarn-site.xml，mapred-site.xml和hbase-site.xml等5个配置文件。配置文件的获取方法请参考[准备运行环境配置文件](https://support.huaweicloud.com/devg3-mrs/mrs_07_290079.html#section0)。集群是否开启Kerberos认证，可通过[查看集群基本信息](https://support.huaweicloud.com/usermanual-mrs/zh-cn_topic_0012808231.html)来确认。 - 安全集群（开启Kerberos认证）需要上传core-site.xml，hdfs-site.xml，yarn-site.xml，krb5.conf，user.keytab，mapred-site.xml和hbase-site.xml等7个文件。其中**krb5.conf** ，**user.keytab** 两个文件是集群用户的凭证，获取方法如下。其余5个配置文件的获取方法请参考[准备运行环境配置文件](https://support.huaweicloud.com/devg3-mrs/mrs_07_080085.html#section1)。 1. [登录FusionInsight Manager界面](https://support.huaweicloud.com/usermanual-mrs/mrs_01_0129.html)，选择"系统 \> 权限 \> 用户"。 2. 在用户名中选择developuser，单击操作"更多 \> 下载认证凭据"下载认证凭据文件。 3. 将下载的凭据文件解压即可得到用户的"user.keytab"文件与"krb5.conf"文件。 7. 在MgC控制台左侧导航栏选择"**数据校验** "，进入**大数据校验** 页面。在左侧导航栏的项目下拉列表中选择步骤**4.**创建的项目。 8. 首次使用大数据校验功能时，需要先启用MgC Agent。单击"**选择并启用迁移中心Agent** "按钮，在弹窗的下拉列表中，选择与迁移中心连接成功的MgC Agent。 ![](https://support.huaweicloud.com/bestpractice-mgc/public_sys-resources/caution_3.0-zh-cn.png) 在进行大数据校验时，请确保MgC Agent一直处于在线并启用状态。 9. 在**功能入口** 区域，单击"**迁移准备** "，进入**迁移准备**页面。 10. 选择"**连接管理** "，单击"**创建连接** "，右侧弹出**新增连接** 窗口。 图3创建连接 ![](https://support.huaweicloud.com/bestpractice-mgc/zh-cn_image_0000002139537610.png "点击放大") 11. 连接类型选择"**Lindorm** "，单击"**下一步** "。 ![](https://support.huaweicloud.com/bestpractice-mgc/zh-cn_image_0000002062645441.png "点击放大") 12. 根据[表1]，配置连接参数后，单击"**测试连接** "按钮，测试通过代表连接成功。 表1Lindorm连接参数配置说明 | 参数 | 配置说明 | |:---|:---| | 所属源 | 选择源端。 | | 连接名称 | 默认创建名称为"Lindorm-4位随机数（字母和数字）"，也可以自定义名称。 | | 迁移中心Agent | 选择[步骤5.]与MgC建立连接的MgC Agent。 | | Lindorm凭证 | 选择[步骤6.]在MgC Agent添加的**源端阿里云 HBase标准版**凭证。 | | 数据库链接 | 填写连接到源端**阿里云 HBase标准版**集群的ZK连接地址。获取集群的ZK连接地址方法如下： 1. 登录阿里云云数据库HBase控制台。 2. 在**集群列表**页面，单击标准版集群实例名称，进入集群详情页面。 3. 在集群详情页面，单击**数据库连接**，进入数据库连接页，复制该实例的ZK链接地址。 | | Lindorm版本 | 在下拉列表中选择对应Lindorm版本。目前只支持2.x版本。 | 13. 测试连接通过后，单击"**确认**"按钮，创建云服务连接完成。 14. 选择**元数据管理** ，单击**创** **建元数据同步任务** 按钮，右侧弹出**创建任务-元数据同步** 窗口。 图4创建元数据同步任务 ![](https://support.huaweicloud.com/bestpractice-mgc/zh-cn_image_0000002187116637.png "点击放大") 15. 根据[元数据同步任务参数配置说明]，配置元数据同步任务参数后，单击"**确认** "按钮，创建元数据同步任务。 表2元数据同步任务参数配置说明 | 参数 | 配置说明 | |:---|:---| | 任务名称 | 默认创建名称为"元数据同步任务-4位随机数（字母和数字）"，也可以自定义名称。 | | 元数据连接 | 选择[步骤12.]创建的元数据连接。 | | 数据库（可选） | 填写需要进行元数据同步的数据库名称，如果有多个数据库，库名之间用逗号隔开。不填则代表同步全部数据库。 | | 并发线程数 | 设置采集线程并发数。默认为3，1≤取值范围≤10。增加线程并发数，可以提高同步效率，但会占用更多源端连接和MgC Agent所安装主机的计算资源。 | 16. 在**任务管理** 页签，可以查看已创建的元数据同步任务列表以及参数配置信息。单击操作列的"**更多\>修改** "，可以修改任务参数配置。 图5元数据同步任务管理 ![](https://support.huaweicloud.com/bestpractice-mgc/zh-cn_image_0000002151807158.png "点击放大") 17. 单击操作列的"**运行任务**"，即可触发一次任务执行。每执行一次任务，会生成一条任务实例。 18. 单击操作列的"**查看实例** "，进入**任务实例管理** 页签。可以查看该任务的运行记录，以及每条任务实例的状态和采集结果。当元数据同步任务的实例状态为"**已完成** "且采集结果有数值时，在**库表清单** 页签可以查看采集到的元数据列表。 图6任务实例管理 ![](https://support.huaweicloud.com/bestpractice-mgc/zh-cn_image_0000002187126189.png "点击放大") 19. 在**数据校验** 页面的**功能入口** 区域，单击"**表管理** "，进入**表管理** 页面的**表组**页签。 20. 单击"**新增表组** "，弹出**新增表组** 窗口。根据[新增表组参数说明]，配置参数后，单击"**确认** "按钮，创建表组。 表3新增表组参数说明 | 参数 | 说明 | |:---|:---| | 表组名 | 用户自定义 | | 元数据连接 | 选择[步骤12.]创建的元数据连接。 注意： 表组中的所有表必须来源于同一个元数据来源。 | | 校验标准 | 选择可以接受的数据差异最大值（即错误容忍度）。MgC提供了多种类型的对数标准可供选择，关于对数标准的详细说明，可以单击新增表组弹窗中的"**查看更多**"进行查看。 | | 说明（可选） | 您可以输入用于区分表组的说明。 | 21. 在**表管理** 页面，选择**库表清单** 页签，勾选要加入同一表组的数据表，单击列表上方的"**表组管理 \> 批量加入组** "，在弹出的**修改表组** 窗口中，选择要加入的表组，单击"**确认** "。 ![](https://support.huaweicloud.com/bestpractice-mgc/zh-cn_image_0000001883293554.png "点击放大") ![](https://support.huaweicloud.com/bestpractice-mgc/public_sys-resources/notice_3.0-zh-cn.png) 如果需要新增数据表，可以通过导入数据表的方式添加，方法请参考[导入数据表并加入表组](https://support.huaweicloud.com/usermanual-mgc/mgc_03_0107.html#section2)。 22. 在**功能入口** 区域，单击"**迁移准备** "，进入**迁移准备**页面。 23. 选择"**连接管理** "，单击"**创建连接** "，右侧弹出**新增连接** 窗口。 图7创建连接 ![](https://support.huaweicloud.com/bestpractice-mgc/zh-cn_image_0000002139537610.png "点击放大") 24. 连接类型选择"**HBase** "，单击"**下一步** "，进入**详细配置**页面。 25. 根据[表4]，配置连接参数后，单击"**测试连接** "按钮，测试通过代表连接成功。 表4HBase服务参数配置说明 | 参数 | 配置说明 | |:---|:---| | 所属源 | 选择目的端。 | | 连接名称 | 默认创建名称为"HBase-4位随机数（字母和数字）"，也可以自定义名称。 | | 迁移中心Agent | 选择[步骤5.]与MgC建立连接的MgC Agent。 | | HBase凭证 | 选择[步骤6.]在MgC Agent侧添加的**目的端MRS** **HBase**凭证。 | | 安全集群 | 选择是否部署在安全集群下。 | | Zookeeper节点IP | 填写连接到Zookeeper的IP地址。通常是部署Zookeeper的服务器公网IP地址或内网IP地址。 | | Zookeeper连接端口 | 填写连接到Zookeeper的端口。默认为2181。 | | HBase 版本 | 选择HBase的版本。 | 26. 在MgC控制台，创建Lindorm统计任务并执行，方法请参考[创建统计任务并执行校验](https://support.huaweicloud.com/usermanual-mgc/mgc_03_0108.html)。需要注意任务配置中的表组，选择步骤[步骤20.]创建的表组。 - **任务类型** 请选择大数据组件中的"**Lindorm**"。 - 统计方式按实际需求选择，各统计方式说明请参见[校验方式说明](https://support.huaweicloud.com/usermanual-mgc/mgc_03_0101.html)。 27. 在MgC控制台，创建HBase统计任务并执行，方法请参考[创建统计任务并执行校验](https://support.huaweicloud.com/usermanual-mgc/mgc_03_0108.html)。需要注意任务配置中的表组，选择步骤[步骤20.]创建的表组。 - **任务类型** 请选择大数据组件中的"**HBase**"。 - 统计方式按实际需求选择，各统计方式说明请参见[校验方式说明](https://support.huaweicloud.com/usermanual-mgc/mgc_03_0101.html)。 28. 当任务执行完成后（实例状态为"已完成"），在**校验结果** 页面可以查看并导出任务的执行结果，方法请参考[查看并导出校验结果](https://support.huaweicloud.com/usermanual-mgc/mgc_03_0109.html)。