更新时间:2024-10-08 GMT+08:00

连接管理

简介

在创建数据迁移任务前,需要先创建连接配置,让集群能够读写数据源。一个迁移任务,需要建立两个连接,源连接和目的连接。哪些数据源支持导出(即作为源连接),哪些数据源支持导入(即作为目的连接)。

不同类型的数据源,创建连接时的配置参数也不相同,本章节指导用户根据数据源类型创建对应的连接。

前提条件

  • 已创建GDS-kafka集群。
  • GDS-kafka集群与目标数据源可以正常通信。
    • 如果目标数据源为云下的数据库,则需要通过公网或者专线打通网络。通过公网互通时,需确保GDS-kafka集群已绑定EIP、云上安全组出方向放通云下数据源所在的主机、数据源所在的主机可以访问公网且防火墙规则已开放连接端口。
    • 如果目标数据源为云上服务,则网络互通需满足如下条件:
      • GDS-kafka集群与云上服务处于不同区域的情况下,需要通过公网或者专线打通网络。通过公网互通时,需确保GDS-kafka集群已绑定EIP,数据源所在的主机可以访问公网且防火墙规则已开放连接端口。
      • GDS-kafka集群与云上服务同区域情况下,同虚拟私有云、同子网、同安全组的不同实例默认网络互通;如果同虚拟私有云但是子网或安全组不同,还需配置路由规则及安全组规则,配置路由规则请参见如何配置路由规则章节,配置安全组规则请参见如何配置安全组规则章节。
      • 必须确保该云服务的实例与集群所属的企业项目必须一致,如果不同,需要修改工作空间的企业项目。
  • 已获取待连接数据源的地址、用户名和密码,且该用户拥有数据导入、导出的操作权限。

创建连接配置

  1. 登录GaussDB(DWS)控制台。
  2. 在左侧导航栏选择“数据 > 数据集成 > 连接管理”,进入连接管理页面。
  3. 单击“创建连接配置”,打开创建连接配置弹窗。
  4. 配置连接参数,各个参数具体配置请参见连接参数说明

    表1 连接参数说明

    连接类型

    参数名称

    是否必选

    参数说明

    Kafka

    连接名称

    创建连接的名称。可自定义。

    只能由中文字符、英文字符、数字及特殊字符"_"、"-"组成。

    Kafka类型

    目前支持MRS Kafka、IoT Kafka、DMS Kafka和Default Kafka,其中Default Kafka为开源Kafka。

    服务地址

    kafka连接地址。

    格式为:域名+端口或者IP地址+端口。

    Topics

    kafka的Topic列表,以英文逗号分隔。

    密文接入

    当Kafka鉴权时需要开启,支持SASL_SSL和SASL_PLAINTEXT两种协议。

    用户名

    连接Kafka的用户名。

    密码

    连接Kafka的密码。

    SSL鉴权

    是否支持SSL协议。

    证书

    SSL证书二进制jks格式文件。

    证书密码

    SSL证书加密密码。

    Host配置

    MRS-Kafka配置参数,当用户使用安全模式连接MRS-Kafka时,需要配置Gds-Kafka所在虚拟机的hosts文件,因此需要用户上传需要修改的host文件,该文件格式仅支持txt,文件内容如下:

    192.168.4.111  node-master1JuQr.mrs-yd8z.com
    192.168.4.204  node-master3mgqy.mrs-yd8z.com
    192.168.4.221  node-master2Ktgg.mrs-yd8z.com

    其中左边为Kafka broker对应的IP地址,如果MRS-Kafka和GDS-Kafka不在同一VPC时,需要将该IP替换为公网IP,右边地址为broker对应的主机名称,可以登录FusionInsightManage,进入Kafka集群,获取对应broker实例对应的主机名称。

    安全模式

    MRS-Kafka配置参数,安全模式打开时,需要进行Kerberos认证。

    Krb5文件

    MRS-Kafka配置参数,打开安全模式时,需要用户上传krb5文件。该文件是用户在MRS服务的FusionInsight Manager平台上申请的机机账号的认证凭证。

    说明:

    如果MRS-Kafka和GDS-Kafka不在同一VPC时,需要将文件中的相关broker内网IP替换为公网IP。

    Keytab文件

    MRS-Kafka配置参数,打开安全模式时,需要用户上传Keytab文件。该文件是用户在MRS服务的FusionInsight Manager平台上申请的机机账号的认证凭证。

    用户账号名称

    MRS-Kafka配置参数,用户在MRS服务的FusionInsight Manager平台上申请的机机账号。

    SSL

    MRS-Kafka配置参数,开启SSL时,用户需要上传SSL证书和密钥。

    认证机制

    DMS-Kafka配置参数,安全认证协议。

    MySQL

    连接名称

    创建连接的名称。可自定义。

    只能由中文字符、英文字符、数字及特殊字符"_"、"-"组成。

    服务地址

    MySQL连接地址。

    格式为:域名+端口或者IP地址+端口。

    用户名

    数据库的用户名。

    密码

    数据库的密码。

    数据库

    MySQL数据库名称。

    Oracle

    连接名称

    创建连接的名称。可自定义。

    只能由中文字符、英文字符、数字及特殊字符"_"、"-"组成。

    服务地址

    Oracle连接地址。

    格式为:域名+端口或者IP地址+端口。

    用户名

    数据库的用户名。

    密码

    数据库的密码。

    数据库

    Oracle数据库名称。

    Schema

    schema名称,支持配置单个或者多个,多个时用英文逗号隔开。

    IoT

    服务地址

    iot-edge-node页面的地址。

    格式为:域名或IP地址。

    用户名

    IoT平台登录账号。

    密码

    IoT平台登录密码。

    DWS

    连接名称

    创建连接的名称。可自定义。

    只能由中文字符、英文字符、数字及特殊字符"_"、"-"组成。

    服务地址

    DWS连接地址。

    格式为:域名+端口或者IP地址+端口。例如:192.168.0.10:8000。

    用户名

    数据库的用户名。

    密码

    数据库的密码。

    数据库

    DWS数据库名称。

    Schema

    DWS数据库下schema名称。

  5. 确认无误后,单击“确定”确认创建连接。

修改连接配置

  1. 登录GaussDB(DWS)控制台。
  2. 在左侧导航栏选择“数据 > 数据集成 > 连接管理”,进入连接管理页面。
  3. 在连接管理页面,单击指定连接配置所在行操作列的“修改”操作。
  4. 进入修改连接配置弹窗,根据规则修改相应连接配置。
  5. 确认无误后,单击“确定”完成修改。

删除连接配置

  1. 登录GaussDB(DWS)控制台。
  2. 在左侧导航栏选择“数据 > 数据集成 > 连接管理”,进入连接管理页面。
  3. 在连接管理页面,单击指定连接配置所在行操作列的“删除”操作。
  4. 进入删除连接配置确认弹窗,单击“确定”来删除连接配置。