更新时间:2026-01-20 GMT+08:00
分享

创建源端连接

创建源端连接是为了允许MgC Agent(原Edge)访问和读取源端自建Hive中存储的数据。

前提条件

已完成准备工作

操作步骤

  1. 登录迁移中心管理控制台。在左侧导航栏的项目下拉列表中选择在完成准备工作时创建的大数据迁移项目
  2. 在左侧导航栏选择“数据迁移”,进入数据迁移页面。
  3. 单击页面右上角的“连接管理”按钮,进入迁移准备页面。
  4. 启用MgC Agent后,单击“创建连接”,右侧弹出新增连接窗口。

    图1 创建连接

  5. 连接类型选择“Hive Metastore”,单击“下一步”。

    图2 选择Hive Metastore

  6. 根据表1 Hive Metastore连接参数配置说明,配置连接参数后,单击“测试连接”按钮,测试通过代表连接成功。

    表1 Hive Metastore连接参数配置说明

    参数

    配置说明

    所属源

    根据源端。

    连接名称

    默认创建名称为“Hive-Metastore-4位随机数(字母和数字)”,也可以自定义名称。

    迁移中心Agent

    选择在完成准备工作时与MgC建立连接的MgC Agent。

    启用安全连接

    选择是否启用安全连接。

    说明:

    目前只支持非安全集群的Hive连接,不支持安全集群的Hive连接。

    Hive版本

    选择源端Hive的实际版本。

    注意:

    源端连接支持1.x,2.x,3.x版本,目的端只支持3.x版本。

    MetaStore节点IP

    填写连接MetaStore的IP地址。

    MetaStore Thrift服务端口

    填写连接MetaStore的端口,默认为9083。

    启用元数据仓连接

    在增量数据校验中,如果通过Metastore查询,当分区数量超过30,000时,可能会因为将所有分区信息加载到内存中而导致内存溢出(OOM)。因此,使用MySQL作为元数据仓可以有效地解决这一问题。

    • 不启用:系统通过MetaStore查询Hive表的分区信息
    • 启用:配置MySQL作为元数据仓,系统将通过MySQL查询Hive表的分区信息。启用后,需要配置如下参数:
      • 元仓类型:目前仅支持MySQL作为元数据仓。
      • MySQL凭证:选择访问MySQL数据库的认证信息。认证信息需要添加到MgC Agent然后同步到MgC,方法请参考添加资源凭证
      • MySQL节点IP:输入MySQL数据库服务器的IP地址。
      • MySQL服务端口:输入MySQL数据库服务的端口号。
      • 数据库名:输入存储Hive表元数据的数据库名称。
    说明:

    请确保填写的MySQL凭证、节点IP、服务端口和数据库名与Hive实际使用的MySQL数据库相匹配,否则会导致数据校验失败。

    创建源端连接完成后,在连接管理页面,可以查看已创建的连接列表。如有需要,可以单击列表操作列的“修改链接”对连接配置进行修改。

相关文档