# MRS ClickHouse迁移至MRS ClickHouse数据校验 本文主要介绍MRS ClickHouse版本间数据迁移后，使用迁移中心 MgC进行数据一致性校验的步骤和方法。 #### 准备工作 需要先在源端内网环境中安装用于配合数据校验的工具MgC Agent并登录，方法请参见[安装Linux版本的MgC Agent](https://support.huaweicloud.com/tg-mgc/mgc_04_0001.html)。 #### 操作步骤 1. 登录[迁移中心管理控制台](https://console.huaweicloud.com/mgc/?#/guide)。 2. 单击左侧导航栏的"**配置管理** "，进入**配置管理**页面。 3. 在"**项目管理** "页签，单击"**创建项目** "，右侧弹出**创建新项目** 窗口。 图1创建项目 ![](https://support.huaweicloud.com/bestpractice-mgc/zh-cn_image_0000002167528681.png "点击放大") 4. 项目类型选择"**大数据迁移** "，输入自定义项目名称，单击"**创建** "。 图2创建大数据迁移项目 ![](https://support.huaweicloud.com/bestpractice-mgc/zh-cn_image_0000002203945321.png "点击放大") 5. 创建项目完成后，参考[连接迁移中心](https://support.huaweicloud.com/tg-mgc/mgc_03_0073.html)，将MgC Agent与云端MgC控制台建立连接。 6. 连接成功后，需要在MgC Agent上分别添加**源端MRS ClickHouse** 凭证和**目的端MRS** **ClickHouse** 凭证，类型选择"**大数据-ClickHouse** "，认证方式选择"**用户名/密码** "。凭证的添加方法请参考[添加资源凭证](https://support.huaweicloud.com/tg-mgc/mgc_03_0016.html)。 7. 在MgC控制台左侧导航栏选择"**数据校验** "，进入**大数据校验** 页面。在左侧导航栏的项目下拉列表中选择步骤**4.**创建的项目。 8. 首次使用大数据校验功能时，需要先启用MgC Agent。单击"**选择并启用迁移中心Agent** "按钮，在弹窗的下拉列表中，选择与迁移中心连接成功的MgC Agent。 ![](https://support.huaweicloud.com/bestpractice-mgc/public_sys-resources/caution_3.0-zh-cn.png) 在进行大数据校验时，请确保MgC Agent一直处于在线并启用状态。 9. 在**功能入口** 区域，单击"**迁移准备** "，进入**迁移准备**页面。 10. 选择"**连接管理** "，单击"**创建连接** "，右侧弹出**新增连接** 窗口。 图3创建连接 ![](https://support.huaweicloud.com/bestpractice-mgc/zh-cn_image_0000002139537610.png "点击放大") 11. 连接类型选择"**ClickHouse** "，单击"**下一步**"。 12. 根据[ClickHouse组件参数配置说明]，配置连接参数后，单击"**测试连接** "按钮，测试通过代表连接成功。 表1ClickHouse组件参数配置说明 | 参数 | 配置说明 | |:---|:---| | 所属源 | 选择**源端**。 | | 连接名称 | 默认创建名称为"ClickHouse-4位随机数（字母和数字）"，也可以自定义名称。 | | 迁移中心Agent | 选择[步骤5.]与MgC建立连接的MgC Agent。 | | ClickHouse凭证（可选） | 选择[步骤6.]在MgC Agent添加的**源端** **MRS ClickHouse**凭证。 | | 安全集群 | 选择是否部署在安全集群下。 | | ClickHouse Server IP | 填写连接到源端ClickHouse服务器的IP地址。通常是运行ClickHouse的主机IP地址。 | | HTTP端口 | 非安全集群下，与源端ClickHouse 服务器通信的 HTTP 端口。 可以登录源端集群的[FusionInsight Manager](https://support.huaweicloud.com/usermanual-mrs/mrs_01_0129.html)，选择"集群 \> 服务 \> ClickHouse \> 配置 \> 全部配置"，搜索"http_port"参数获取。 | | HTTP SSL/TLS端口 | 安全集群下，与源端ClickHouse 服务器通信的HTTPS 端口。 可以登录源端集群的[FusionInsight Manager](https://support.huaweicloud.com/usermanual-mrs/mrs_01_0129.html)，选择"集群 \> 服务 \> ClickHouse \> 配置 \> 全部配置"，搜索"https_port"参数获取。 | | 采集资源使用信息 | 可选参数。开启后，通过该连接创建的统计任务将收集大数据服务的资源使用信息，这些信息将用于MgC上的报告生成，以便于进行性能优化。 须知： 使用该功能，需要MgC Agent添加的华为云账号AK/SK拥有MRS服务和DLI服务的只读权限（ReadOnly）。 - 如果所选凭证与登录迁移中心 MgC的账号凭证相同，请勾选"**所选凭证与登录迁移中心凭证相同** "，系统将根据所选的区域，自动查询账号在该区域下的项目。 - 区域：选择需要校验的数据所在区域/项目。 - 项目：选择需要校验的数据所在项目。 - 集群ID：输入需要校验的数据所在集群ID。 - 如果所选凭证与登录迁移中心 MgC的账号凭证不同，请手动输入如下参数信息： - 区域ID：输入需要校验的数据所在区域ID。例如，区域为"华南-广州"，则输入"cn-south-1" - 项目ID：输入与区域对应的项目ID。 - 集群ID：输入需要校验的数据所在集群ID。 说明： - 区域ID和项目ID可以在"我的凭证 \> [API凭证](https://console.huaweicloud.com/iam/?#/mine/apiCredential)"查看。 - 集群ID的获取方法请参考获取[MRS集群ID](https://support.huaweicloud.com/api-mrs/mrs_02_9001.html#section1)。 | 13. 测试连接通过后，单击"**确认**"按钮，创建云服务连接完成。 14. 选择**元数据管理** ，单击**创** **建元数据同步任务** 按钮，右侧弹出**创建任务-元数据同步** 窗口。 图4创建元数据同步任务 ![](https://support.huaweicloud.com/bestpractice-mgc/zh-cn_image_0000002187116637.png "点击放大") 15. 根据[元数据同步任务参数配置说明]，配置元数据同步任务参数后，单击"**确认** "按钮，创建元数据同步任务。 表2元数据同步任务参数配置说明 | 参数 | 配置说明 | |:---|:---| | 任务名称 | 默认创建名称为"元数据同步任务-4位随机数（字母和数字）"，也可以自定义名称。 | | 元数据连接 | 选择[步骤12.]创建的元数据连接。 | | 数据库（可选） | 填写需要进行元数据同步的数据库名称，如果有多个数据库，库名之间用逗号隔开。不填则代表同步全部数据库。 | | 并发线程数 | 设置采集线程并发数。默认为3，1≤取值范围≤10。增加线程并发数，可以提高同步效率，但会占用更多源端连接和MgC Agent所安装主机的计算资源。 | 16. 在**任务管理** 页签，可以查看已创建的元数据同步任务列表以及参数配置信息。单击操作列的"**更多\>修改** "，可以修改任务参数配置。 图5元数据同步任务管理 ![](https://support.huaweicloud.com/bestpractice-mgc/zh-cn_image_0000002151807158.png "点击放大") 17. 单击操作列的"**运行任务**"，即可触发一次任务执行。每执行一次任务，会生成一条任务实例。 18. 单击操作列的"**查看实例** "，进入**任务实例管理** 页签。可以查看该任务的运行记录，以及每条任务实例的状态和采集结果。当元数据同步任务的实例状态为"**已完成** "且采集结果有数值时，在**库表清单** 页签可以查看采集到的元数据列表。 图6任务实例管理 ![](https://support.huaweicloud.com/bestpractice-mgc/zh-cn_image_0000002187126189.png "点击放大") 19. 在**数据校验** 页面的**功能入口** 区域，单击"**表管理** "，进入**表管理** 页面的**表组**页签。 20. 单击"**新增表组** "，弹出**新增表组** 窗口。根据[新增表组参数说明]，配置参数后，单击"**确认** "按钮，创建表组。 表3新增表组参数说明 | 参数 | 说明 | |:---|:---| | 表组名 | 用户自定义 | | 元数据连接 | 选择[步骤12.]创建的元数据连接。 注意： 表组中的所有表必须来源于同一个元数据来源。 | | 校验标准 | 选择可以接受的数据差异最大值（即错误容忍度）。MgC提供了多种类型的对数标准可供选择，关于对数标准的详细说明，可以单击新增表组弹窗中的"**查看更多**"进行查看。 | | 说明（可选） | 您可以输入用于区分表组的说明。 | 21. 在**表管理** 页面，选择**库表清单** 页签，勾选要加入同一表组的数据表，单击列表上方的"**表组管理 \> 批量加入组** "，在弹出的**修改表组** 窗口中，选择要加入的表组，单击"**确认** "。 ![](https://support.huaweicloud.com/bestpractice-mgc/zh-cn_image_0000001883293554.png "点击放大") ![](https://support.huaweicloud.com/bestpractice-mgc/public_sys-resources/notice_3.0-zh-cn.png) 如果需要新增数据表，可以通过导入数据表的方式添加，方法请参考[导入数据表并加入表组](https://support.huaweicloud.com/usermanual-mgc/mgc_03_0107.html#section2)。 22. 在**功能入口** 区域，单击"**迁移准备** "，进入**迁移准备**页面。 23. 选择"**连接管理** "，单击"**创建连接** "，右侧弹出**新增连接** 窗口。 图7创建连接 ![](https://support.huaweicloud.com/bestpractice-mgc/zh-cn_image_0000002139537610.png "点击放大") 24. 连接类型选择"**ClickHouse** "，单击"**下一步** "，进入**详细配置**页面。 25. 根据[ClickHouse组件参数配置说明]，配置连接参数后，单击"**测试连接** "按钮，测试通过代表连接成功。 表4ClickHouse组件参数配置说明 | 参数 | 配置说明 | |:---|:---| | 所属源 | 选择**目的端**。 | | 连接名称 | 默认创建名称为"ClickHouse-4位随机数（字母和数字）"，也可以自定义名称。 | | 迁移中心Agent | 选择[步骤5.]与MgC建立连接的MgC Agent。 | | ClickHouse凭证（可选） | 选择[步骤6.]在MgC Agent添加的**目的端MRS ClickHouse**凭证。 | | 安全集群 | 选择是否部署在安全集群下。 | | ClickHouse Server IP | 填写连接到MRS ClickHouse服务器的IP地址。通常是运行ClickHouse的主机IP地址。 | | HTTP端口 | 非安全集群下，与MRS ClickHouse 服务器通信的 HTTP 端口。 可以登录目的端集群的[FusionInsight Manager](https://support.huaweicloud.com/usermanual-mrs/mrs_01_0129.html)，选择"集群 \> 服务 \> ClickHouse \> 配置 \> 全部配置"，搜索"http_port"参数获取。 | | HTTP SSL/TLS端口 | 安全集群下，与MRS ClickHouse 服务器通信的HTTPS 端口。 可以登录目的端集群的[FusionInsight Manager](https://support.huaweicloud.com/usermanual-mrs/mrs_01_0129.html)，选择"集群 \> 服务 \> ClickHouse \> 配置 \> 全部配置"，搜索"https_port"参数获取。 | | 采集资源使用信息 | 可选参数。开启后，通过该连接创建的统计任务将收集大数据服务的资源使用信息，这些信息将用于MgC上的报告生成，以便于进行性能优化。 须知： 使用该功能，需要MgC Agent添加的华为云账号AK/SK拥有MRS服务和DLI服务的只读权限（ReadOnly）。 - 如果所选凭证与登录迁移中心 MgC的账号凭证相同，请勾选"**所选凭证与登录迁移中心凭证相同** "，系统将根据所选的区域，自动查询账号在该区域下的项目。 - 区域：选择需要校验的数据所在区域/项目。 - 项目：选择需要校验的数据所在项目。 - 集群ID：输入需要校验的数据所在集群ID。 - 如果所选凭证与登录迁移中心 MgC的账号凭证不同，请手动输入如下参数信息： - 区域ID：输入需要校验的数据所在区域ID。例如，区域为"华南-广州"，则输入"cn-south-1" - 项目ID：输入与区域对应的项目ID。 - 集群ID：输入需要校验的数据所在集群ID。 说明： - 区域ID和项目ID可以在"我的凭证 \> [API凭证](https://console.huaweicloud.com/iam/?#/mine/apiCredential)"查看。 - 集群ID的获取方法请参考获取[MRS集群ID](https://support.huaweicloud.com/api-mrs/mrs_02_9001.html#section1)。 | 26. 分别创建源端和目的端MRS ClickHouse统计任务并执行，方法请参考[创建统计任务并执行校验](https://support.huaweicloud.com/usermanual-mgc/mgc_03_0108.html)。需要注意任务配置中的表组，选择[步骤20.]创建的表组。 - **任务类型** 请选择大数据组件中的"**ClickHouse**"。 - 统计方式仅支持"**全量校验**"。 27. 当任务执行完成后（实例状态为"已完成"），在**校验结果** 页面可以查看并导出任务的执行结果，方法请参考[查看并导出校验结果](https://support.huaweicloud.com/usermanual-mgc/mgc_03_0109.html)。 ![](https://support.huaweicloud.com/bestpractice-mgc/zh-cn_image_0000001882937304.png "点击放大")