连接管理
简介
在创建数据迁移任务前,需要先创建连接配置,让集群能够读写数据源。一个迁移任务,需要建立两个连接,源连接和目的连接。哪些数据源支持导出(即作为源连接),哪些数据源支持导入(即作为目的连接)。
不同类型的数据源,创建连接时的配置参数也不相同,本章节指导用户根据数据源类型创建对应的连接。
前提条件
- 已创建GDS-kafka集群。
- GDS-kafka集群与目标数据源可以正常通信。
- 如果目标数据源为云下的数据库,则需要通过公网或者专线打通网络。通过公网互通时,需确保GDS-kafka集群已绑定EIP、云上安全组出方向放通云下数据源所在的主机、数据源所在的主机可以访问公网且防火墙规则已开放连接端口。
- 如果目标数据源为云上服务,则网络互通需满足如下条件:
- 已获取待连接数据源的地址、用户名和密码,且该用户拥有数据导入、导出的操作权限。
创建连接配置
- 登录GaussDB(DWS)控制台。
- 在左侧导航栏选择“数据 > 数据集成 > 连接管理”,进入连接管理页面。
- 单击“创建连接配置”,打开创建连接配置弹窗。
- 配置连接参数,各个参数具体配置请参见连接参数说明。
表1 连接参数说明 连接类型
参数名称
是否必选
参数说明
Kafka
连接名称
是
创建连接的名称。可自定义。
只能由中文字符、英文字符、数字及特殊字符"_"、"-"组成。
Kafka类型
是
目前支持MRS Kafka、IoT Kafka、DMS Kafka和Default Kafka,其中Default Kafka为开源Kafka。
服务地址
是
kafka连接地址。
格式为:域名+端口或者IP地址+端口。
Topics
是
kafka的Topic列表,以英文逗号分隔。
密文接入
否
当Kafka鉴权时需要开启,支持SASL_SSL和SASL_PLAINTEXT两种协议。
用户名
否
连接Kafka的用户名。
密码
否
连接Kafka的密码。
SSL鉴权
否
是否支持SSL协议。
证书
否
SSL证书二进制jks格式文件。
证书密码
否
SSL证书加密密码。
Host配置
否
MRS-Kafka配置参数,当用户使用安全模式连接MRS-Kafka时,需要配置Gds-Kafka所在虚拟机的hosts文件,因此需要用户上传需要修改的host文件,该文件格式仅支持txt,文件内容如下:
192.168.4.111 node-master1JuQr.mrs-yd8z.com 192.168.4.204 node-master3mgqy.mrs-yd8z.com 192.168.4.221 node-master2Ktgg.mrs-yd8z.com
其中左边为Kafka broker对应的IP地址,如果MRS-Kafka和GDS-Kafka不在同一VPC时,需要将该IP替换为公网IP,右边地址为broker对应的主机名称,可以登录FusionInsightManage,进入Kafka集群,获取对应broker实例对应的主机名称。
安全模式
否
MRS-Kafka配置参数,安全模式打开时,需要进行Kerberos认证。
Krb5文件
否
MRS-Kafka配置参数,打开安全模式时,需要用户上传krb5文件。该文件是用户在MRS服务的FusionInsight Manager平台上申请的机机账号的认证凭证。
说明:如果MRS-Kafka和GDS-Kafka不在同一VPC时,需要将文件中的相关broker内网IP替换为公网IP。
Keytab文件
否
MRS-Kafka配置参数,打开安全模式时,需要用户上传Keytab文件。该文件是用户在MRS服务的FusionInsight Manager平台上申请的机机账号的认证凭证。
用户账号名称
否
MRS-Kafka配置参数,用户在MRS服务的FusionInsight Manager平台上申请的机机账号。
SSL
否
MRS-Kafka配置参数,开启SSL时,用户需要上传SSL证书和密钥。
认证机制
否
DMS-Kafka配置参数,安全认证协议。
MySQL
连接名称
是
创建连接的名称。可自定义。
只能由中文字符、英文字符、数字及特殊字符"_"、"-"组成。
服务地址
是
MySQL连接地址。
格式为:域名+端口或者IP地址+端口。
用户名
是
数据库的用户名。
密码
是
数据库的密码。
数据库
是
MySQL数据库名称。
Oracle
连接名称
是
创建连接的名称。可自定义。
只能由中文字符、英文字符、数字及特殊字符"_"、"-"组成。
服务地址
是
Oracle连接地址。
格式为:域名+端口或者IP地址+端口。
用户名
是
数据库的用户名。
密码
是
数据库的密码。
数据库
是
Oracle数据库名称。
Schema
是
schema名称,支持配置单个或者多个,多个时用英文逗号隔开。
IoT
服务地址
是
iot-edge-node页面的地址。
格式为:域名或IP地址。
用户名
是
IoT平台登录账号。
密码
是
IoT平台登录密码。
DWS
连接名称
是
创建连接的名称。可自定义。
只能由中文字符、英文字符、数字及特殊字符"_"、"-"组成。
服务地址
是
DWS连接地址。
格式为:域名+端口或者IP地址+端口。例如:192.168.0.10:8000。
用户名
是
数据库的用户名。
密码
是
数据库的密码。
数据库
是
DWS数据库名称。
Schema
是
DWS数据库下schema名称。
- 确认无误后,单击“确定”确认创建连接。
修改连接配置
- 登录GaussDB(DWS)控制台。
- 在左侧导航栏选择“数据 > 数据集成 > 连接管理”,进入连接管理页面。
- 在连接管理页面,单击指定连接配置所在行操作列的“修改”操作。
- 进入修改连接配置弹窗,根据规则修改相应连接配置。
- 确认无误后,单击“确定”完成修改。
删除连接配置
- 登录GaussDB(DWS)控制台。
- 在左侧导航栏选择“数据 > 数据集成 > 连接管理”,进入连接管理页面。
- 在连接管理页面,单击指定连接配置所在行操作列的“删除”操作。
- 进入删除连接配置确认弹窗,单击“确定”来删除连接配置。