更新时间:2024-11-29 GMT+08:00

创建数据库连接

操作场景

通过CDLService WebUI创建数据库连接时,可参考该章节进行CDL作业编排。

前提条件

  • 已获取待连接数据对应的驱动Jar包并上传。
  • 开启Kerberos认证的集群需已参考创建CDL用户创建具有CDL管理操作权限的用户。

操作步骤

  1. 使用具有CDL管理操作权限的用户或admin用户(未开启Kerberos认证的集群)登录CDLService WebUI界面,请参考登录CDLService WebUI
  2. 选择“连接管理 > 新增连接”,在弹出窗口中输入数据连接的名称(Name,不能与已存在的名称相同)并选择连接类型(Link Type)。
  3. 根据不同的连接类型,界面信息输入数据相关链接参数。

    表1 MySQL数据连接配置参数

    参数名称

    描述

    示例

    Link Type

    连接类型。

    mysql

    Name

    连接配置名称。

    mysqllink

    DB driver

    选择已上传的MySQL驱动文件“mysql-connector-java-8.0.24.jar”。

    mysql-connector-java-8.0.24.jar

    注意:

    必须使用“mysql-connector-java-8.0.24.jar”,否则可能会导致创建数据库连接失败。

    Host

    MySQL数据库IP地址。

    10.10.10.10

    Port

    MySQL数据库端口。

    3306

    User

    MySQL数据库访问用户。

    user

    Password

    MySQL数据库访问密码。

    user用户密码

    Description

    描述信息。

    xxx

    表2 PgSQL数据连接配置参数

    参数名称

    描述

    示例

    Link Type

    连接类型。

    pgsql

    Name

    连接配置名称。

    pgsqllink

    Host

    PgSQL数据库IP地址。

    10.10.10.10

    Port

    PgSQL数据库端口。

    5432

    DB Name

    PgSQL数据库名称。

    testDB

    User

    PgSQL数据库访问用户。

    user

    Password

    PgSQL数据库访问密码。

    user用户密码

    Description

    描述信息。

    xxx

    表3 Oracle数据连接配置参数

    参数名称

    描述

    示例

    Link Type

    连接类型。

    oracle

    Name

    连接配置名称。

    oraclelink

    DB driver

    选择已上传的Oracle驱动文件“ojdbc8-12.2.0.1.jar”。

    ojdbc-12.1.0.1.0.jar

    Host

    Oracle数据库IP地址。

    10.10.10.10

    Port

    Oracle数据库端口。

    1521

    User

    Oracle数据库访问用户。

    user

    Password

    Oracle数据库访问密码。

    user用户密码

    Sid

    Oracle的服务ID。

    orcl

    Description

    描述信息。

    xxx

    表4 Kafka数据连接配置参数

    参数名称

    描述

    示例

    Link Type

    连接类型。

    kafka

    Name

    连接配置名称。

    kafkalink

    Description

    描述信息。

    -

    表5 Hudi数据连接配置参数

    参数名称

    描述

    示例

    Link Type

    连接类型。

    hudi

    Name

    连接配置名称。

    hudilink

    Storage Type

    存储类型。

    hdfs:数据存储到HDFS中。

    hdfs

    Auth KeytabFile

    访问用户的keytab文件。可单击“上传文件”进行上传。

    安全模式集群填写该参数,普通模式集群不显示该参数。

    说明:

    该文件可在Manager界面选择“系统 > 权限 > 用户”,在待操作用户后选择“更多 > 下载用户凭证”获取。

    ${BIGDATA_HOME}/third_lib/CDL/user_libs/1699627721775user.keytab

    Principal

    访问用户的域名用户。

    安全模式集群填写该参数,普通模式集群不显示该参数。

    cdltest

    Description

    描述信息。

    xxx

    表6 thirdparty-kafka数据连接配置参数

    参数名称

    描述

    示例

    Link Type

    连接类型。

    thirdparty-kafka

    Name

    连接配置名称。

    thirdparty-kafkalink

    Bootstrap Servers

    Kafka代理实例,即是Kafka的Broker实例业务IP:Kafka端口号

    说明:

    若以MRS Kafka作为thirdparty-kafka源端,端口号可登录Manager界面,选择“集群 > 服务 > Kafka > 配置”,在搜索框中搜索端口,根据相应的加密协议获取对应的端口号。

    10.10.10.10:21007

    Security Protocol

    加密协议,包括:

    • SASL_PLAINTEXT
    • PLAINTEXT
    • SASL_SSL
    • SSL

    SASL_PLAINTEXT

    Username

    在实例创建期间启用“SASL_SSL”时指定的用户名。

    说明:

    仅加密协议为“SASL_PLAINTEXT”和“SASL_SSL”支持该参数。

    test

    Password

    在实例创建期间启用“SASL_SSL”时指定的密码。

    说明:

    仅加密协议为“SASL_PLAINTEXT”和“SASL_SSL”支持该参数。

    xxx

    SSL Truststore Location

    上传“client.truststore.jks”认证文件。

    说明:

    仅加密协议为“SASL_SSL”和“SSL”支持该参数。

    -

    SSL Truststore Password

    “client.truststore.jks”证书文件对应的密码。

    说明:

    仅加密协议为“SASL_SSL”和“SSL”支持该参数。

    xxx

    Datastore Type

    上层源的类型,包括:

    • drs-opengauss-json
    • ogg-oracle-avro
    • drs-oracle-json
    • drs-oracle-avro
    • iot
    • debezium-json

    drs-opengauss-json

    DB driver

    选择已上传的thirdparty-kafka驱动文件。

    说明:

    仅“Datastore Type”为“ogg-oracle-avro”支持该参数。

    -

    Host

    thirdparty-kafka数据库的IP地址。

    说明:

    “Datastore Type”为“iot”和“drs-oracle-json”时不支持该参数。

    11.11.xxx.xxx,12.12.xxx.xxx

    Port

    thirdparty-kafka数据库的端口。

    说明:

    “Datastore Type”为“iot”和“drs-oracle-json”时不支持该参数。

    8000

    DB Name

    thirdparty-kafka数据库名称。

    说明:

    仅“Datastore Type”为“drs-opengauss-json”时支持该参数。

    opengaussdb

    User

    thirdparty-kafka数据库访问用户。

    说明:

    “Datastore Type”为“iot”和“drs-oracle-json”时不支持该参数。

    opengaussuser

    DB Password

    thirdparty-kafka数据库访问密码。

    说明:

    “Datastore Type”为“iot”和“drs-oracle-json”时不支持该参数。

    opengaussuser用户密码

    Sid

    Oracle的服务ID。

    说明:

    仅“Datastore Type”为“ogg-oracle-avro”时支持该参数。

    -

    URL

    IOT服务调用地址,可登录IOT服务平台,单击“数据开放”,查看“API接口”页签的“调用地址”获取。

    说明:

    仅“Datastore Type”为“iot”时支持该参数。

    https://xxx.xxx.xxx.xxx

    ProjectID

    IOT服务所属Project ID,可登录IOT服务平台,单击“数据开放”,查看“API接口”页签的“project_id”获取。

    说明:

    仅“Datastore Type”为“iot”时支持该参数。

    xxxxxxxx

    IOT User Name

    用于连接IOT服务的用户名。

    说明:

    仅“Datastore Type”为“iot”时支持该参数。

    test

    IOT Password

    用于连接IOT服务的用户密码。

    说明:

    仅“Datastore Type”为“iot”时支持该参数。

    xxxxxx

    Description

    描述信息。

    -

    表7 DWS数据连接配置参数

    参数名称

    描述

    示例

    Link Type

    连接类型。

    dws

    Name

    连接配置名称。

    dwslink

    Host

    待连接的DWS数据库IP地址。

    10.10.10.10

    Port

    数据库端口。

    8000

    DB Name

    待连接的数据库名称。

    default

    User

    数据库访问用户。

    test

    Password

    数据库访问密码。

    xxx

    Description

    描述信息。

    -

    表8 opengauss数据连接配置参数

    参数名称

    描述

    示例

    Link Type

    连接类型。

    opengauss

    Name

    连接配置名称。

    opengausslink

    Host

    待连接的opengauss数据库IP地址。

    10.10.10.10

    Port

    数据库端口。

    8000

    DB Name

    待连接的数据库名称。

    default

    User

    数据库访问用户。

    test

    Password

    数据库访问密码。

    xxx

    Description

    描述信息。

    -

    表9 ClickHouse数据连接配置参数

    参数名称

    描述

    示例

    Link Type

    连接类型。

    clickhouse

    Name

    连接配置名称。

    clickhouselink

    Host

    ClickHouse的ClickHouseBalancer实例业务IP地址:HTTP Balancer端口号。支持连接多个ClickHouse实例,使用,分隔

    说明:

    HTTP Balancer端口号可登录Manager界面,选择“集群 > 服务 > ClickHouse > 逻辑集群”,在集群列表的“HTTP Balancer端口号”列获取。

    10.10.10.10:21428

    User

    数据库访问用户。

    test

    Password

    数据库访问密码。

    xxx

    Description

    描述信息。

    -

  4. 参数配置完成后,单击“测试连接”,检查数据连通是否正常。

    连接校验通过后,单击“确定”完成数据连接创建。