更新时间:2024-12-28 GMT+08:00

创建目的端组件连接

对大数据组件数据进行一致性校验时,需要与大数据组件建立连接,用于数据查询。

目前支持创建连接的大数据组件包括:

  • Doris
  • HBase
  • ClickHouse
  • Hive Metastore

操作步骤

  1. 登录迁移中心管理控制台。
  2. 在左侧导航栏选择“实施>大数据校验”,进入大数据校验页面。在页面左上角的当前项目下拉列表中选择迁移项目
  3. 功能入口区域,单击“连接管理”,进入连接管理页面。
  4. 单击页面右上角的“新增连接”,右侧弹出新增连接窗口。
  5. 根据实际情况选择大数据组件,单击“下一步”,进入详细配置页面。
  6. 根据对应的参数配置说明,配置组件连接参数。

    表1 Doris组件参数配置说明

    参数

    配置说明

    所属源

    选择目的端。

    连接名称

    默认创建名称为“Doris-4位随机数(字母和数字)”,也可以自定义名称。

    Doris凭证

    选择在Edge添加的目的端Doris凭证。凭证的添加方式请参考添加资源凭证,类型选择“大数据-Doris”。

    数据库地址

    填写目的端Doris集群部署的服务器IP地址。

    可登录FusionInsight Manager,选择“集群 > 服务 > Doris”,查看“Leader所在的主机”获取。

    数据库端口

    填写目的端Doris集群部署的服务器的端口。

    可登录FusionInsight Manager,选择“集群 > 服务 > Doris > 配置”,搜索“query_port”获取。

    数据库名

    填写目的端Doris数据库名称。

    表2 HBase组件参数配置说明

    参数

    配置说明

    所属源

    选择目的端。

    连接名称

    默认创建名称为“HBase-4位随机数(字母和数字)”,也可以自定义名称。

    HBase凭证

    选择在Edge添加的目的端HBase凭证。凭证的添加方式请参考添加资源凭证,类型选择“大数据-HBase”。

    安全集群

    选择是否部署在安全集群下。

    Zookeeper节点IP

    填写连接到目的端Zookeeper的IP地址。通常是部署Zookeeper的服务器公网IP地址或内网IP地址。

    Zookeepeer连接端口

    填写连接到目的端Zookeepeer的端口。默认为2181。

    HBase 版本

    选择目的端HBase版本。

    表3 ClickHouse组件参数配置说明

    参数

    配置说明

    所属源

    选择目的端。

    连接名称

    默认创建名称为“ClickHouse-4位随机数(字母和数字)”,也可以自定义名称。

    ClickHouse凭证(可选)

    选择在Edge添加的目的端ClickHouse凭证。凭证的添加方法请参考添加资源凭证中的大数据-ClickHouse。

    安全集群

    选择是否部署在安全集群下。

    ClickHouse Server IP

    填写连接到目的端ClickHouse服务器的IP地址。通常是运行ClickHouse的主机IP地址。

    HTTP端口

    非安全集群下,填写与目的端ClickHouse 服务器通信的 HTTP 端口。默认为8123。

    HTTP SSL/TLS端口

    安全集群下,填写与目的端ClickHouse 服务器通信的HTTPS 端口。

    表4 Hive Metastore连接参数配置说明

    参数

    配置说明

    所属源

    选择目的端。

    连接名称

    默认创建名称为“Hive-Metastore-4位随机数(字母和数字)”,也可以自定义名称。

    启用安全连接

    选择是否启用安全连接。

    • MetaStore在非安全集群下,可以不启用安全连接。
    • MetaStore在安全集群下,需要启用安全连接并选择凭证。凭证的获取以及添加方法请参考添加资源凭证中的大数据-Hive Metastore。

    Hive版本

    选择目的端Hive的实际版本。

    注意:

    目前只支持3.x版本。

    MetaStore节点IP

    填写连接MetaStore的IP地址。

    MetaStore Thrift服务端口

    填写连接MetaStore的端口,默认为9083。

    启用元数据仓连接

    在增量数据校验中,如果通过Metastore查询,当分区数量超过30,000时,可能会因为将所有分区信息加载到内存中而导致内存溢出(OOM)。因此,使用MySQL作为元数据仓可以有效地解决这一问题。

    • 不启用:系统通过MetaStore查询Hive表的分区信息
    • 启用:配置MySQL作为元数据仓,系统将通过MySQL查询Hive表的分区信息。启用后,需要配置如下参数:
      • 元仓类型:目前仅支持MySQL作为元数据仓。
      • MySQL凭证:选择访问MySQL数据库的认证信息。认证信息需要添加到Edge然后同步到MgC,方法请参考添加资源凭证
      • MySQL节点IP:输入MySQL数据库服务器的IP地址。
      • MySQL服务端口:输入MySQL数据库服务的端口号。
      • 数据库名:输入存储Hive表元数据的数据库名称。
    说明:

    请确保填写的MySQL凭证、节点IP、服务端口和数据库名与Hive实际使用的MySQL数据库相匹配,否则会导致数据校验失败。

  7. 参数配置完成后,单击“测试连接”,系统会校验配置信息并与组件建立连接,测试通过代表与组件连接成功。
  8. 测试连接通过后,单击“确认”按钮,创建大数据组件连接完成。
  9. 连接管理页面,可以查看创建的连接列表以及基本信息。单击操作列的“修改连接”,可以修改连接参数配置。