文档首页/ MapReduce服务 MRS/ 组件操作指南（LTS版）/ 使用CDL/ 创建CDL作业前准备/ 创建CDL数据库连接
更新时间：2024-09-18 GMT+08:00
查看PDF
分享

创建CDL数据库连接

操作场景

通过CDLService WebUI创建数据库连接时，可参考该章节进行CDL作业编排。

前提条件

  • 已获取待连接数据对应的驱动Jar包并上传。
  • 开启Kerberos认证的集群需已参考CDL用户权限管理创建具有CDL管理操作权限的用户。

操作步骤

  1. 使用具有CDL管理操作权限的用户或admin用户（未开启Kerberos认证的集群）登录CDLService WebUI界面，请参考登录CDLService WebUI界面。
  2. 选择“连接管理 > 新增连接”，在弹出窗口中输入数据连接的名称（Name，不能与已存在的名称相同）并选择连接类型（Link Type）。
  3. 根据不同的连接类型，界面信息输入数据相关链接参数。

    表1 MySQL数据连接配置参数

    参数名称

    描述

    示例

    Link Type

    连接类型。

    mysql

    Name

    连接配置名称。

    mysqllink

    DB driver

    选择已上传的MySQL驱动文件“mysql-connector-java-8.0.24.jar”。

    mysql-connector-java-8.0.24.jar

    Host

    MySQL数据库IP地址。

    10.10.10.10

    Port

    MySQL数据库端口。

    3306

    User

    MySQL数据库访问用户。

    user

    Password

    MySQL数据库访问密码。

    user用户密码

    Description

    描述信息。

    xxx
    表2 PgSQL数据连接配置参数

    参数名称

    描述

    示例

    Link Type

    连接类型。

    pgsql

    Name

    连接配置名称。

    pgsqllink

    Host

    PgSQL数据库IP地址。

    10.10.10.10

    Port

    PgSQL数据库端口。

    5432

    DB Name

    PgSQL数据库名称。

    testDB

    User

    PgSQL数据库访问用户。

    user

    Password

    PgSQL数据库访问密码。

    user用户密码

    Description

    描述信息。

    xxx
    表3 Kafka数据连接配置参数

    参数名称

    描述

    示例

    Link Type

    连接类型。

    kafka

    Name

    连接配置名称。

    kafkalink

    Description

    描述信息。

    -
    表4 Hudi数据连接配置参数

    参数名称

    描述

    示例

    Link Type

    连接类型。

    hudi

    Name

    连接配置名称。

    hudilink

    Storage Type

    存储类型。

    hdfs：数据存储到HDFS中。

    hdfs

    Auth KeytabFile

    访问用户的keytab文件。可单击“上传文件”进行上传。

    安全模式集群填写该参数，普通模式集群不显示该参数。

    说明：

    该文件可在Manager界面选择“系统 > 权限 > 用户”，在待操作用户后选择“更多 > 下载用户凭证”获取。

    ${BIGDATA_HOME}/FusionInsight_CDL_X.X.X/install/FusionInsight-CDL-X.X.X/cdl/keytabs/cdl.keytab

    Principal

    访问用户的域名用户。

    安全模式集群填写该参数，普通模式集群不显示该参数。

    cdl/test.com@HADOOP.COM

    Description

    描述信息。

    xxx
    表5 thirdparty-kafka数据连接配置参数

    参数名称

    描述

    示例

    Link Type

    连接类型。

    thirdparty-kafka

    Name

    连接配置名称。

    thirdparty-kafkalink

    Bootstrap Servers

    Kafka代理实例，即是Kafka的Broker实例业务IP:Kafka端口号。

    说明：

    如果以MRS Kafka作为thirdparty-kafka源端，端口号可登录Manager界面，选择“集群 > 服务 > Kafka > 配置”，在搜索框中搜索端口，根据相应的加密协议获取对应的端口号。

    10.10.10.10:21005

    Security Protocol

    加密协议，包括：

    • SASL_PLAINTEXT
    • PLAINTEXT
    • SASL_SSL
    • SSL

    SASL_SSL

    Username

    在实例创建期间启用“SASL_SSL”时指定的用户名。

    说明：

    仅加密协议为“SASL_PLAINTEXT”和“SASL_SSL”支持该参数。

    test

    Password

    在实例创建期间启用“SASL_SSL”时指定的密码。

    说明：

    仅加密协议为“SASL_PLAINTEXT”和“SASL_SSL”支持该参数。

    xxx

    SSL Truststore Location

    上传“client.truststore.jks”认证文件。

    说明：

    仅加密协议为“SASL_SSL”和“SSL”支持该参数。

    -

    SSL Truststore Password

    “client.truststore.jks”证书文件对应的密码。

    说明：

    仅加密协议为“SASL_SSL”和“SSL”支持该参数。

    xxx

    Datastore Type

    上层源的类型，包括：

    • MRS 3.2.0版本：
      • opengauss
      • ogg
      • oracle
      • drs-avro-oracle
    • MRS 3.3.0及之后版本：
      • drs-opengauss-json
      • ogg-oracle-avro
      • drs-oracle-json
      • drs-oracle-avro
    • opengauss
    • drs-opengauss-json

    DB driver

    选择已上传的thirdparty-kafka驱动文件。

    说明：

    “Datastore Type”为“ogg”（MRS 3.3.0及之后版本为“ogg-oracle-avro”）显示该参数。

    -

    Host

    thirdparty-kafka数据库的IP地址。

    说明：

    “Datastore Type”为“oracle”（MRS 3.3.0及之后版本为“drs-oracle-json”）时不支持该参数。

    11.11.xxx.xxx,12.12.xxx.xxx

    Port

    thirdparty-kafka数据库的端口。

    说明：

    “Datastore Type”为“oracle”（MRS 3.3.0及之后版本为“drs-oracle-json”）时不支持该参数。

    8000

    DB Name

    thirdparty-kafka数据库名称。

    说明：

    “Datastore Type”为“opengauss”（MRS 3.3.0及之后版本为“drs-opengauss-json”）显示该参数。

    opengaussdb

    User

    thirdparty-kafka数据库访问用户。

    说明：

    “Datastore Type”为“oracle”（MRS 3.3.0及之后版本为“drs-oracle-json”）时不支持该参数。

    opengaussuser

    DB Password

    thirdparty-kafka数据库访问密码。

    说明：

    “Datastore Type”为“oracle”（MRS 3.3.0及之后版本为“drs-oracle-json”）时不支持该参数。

    opengaussuser用户密码

    Sid

    Oracle的服务ID。

    说明：

    “Datastore Type”为“ogg”MRS 3.3.0及之后版本为“ogg-oracle-avro”）显示该参数。

    -

    Description

    描述信息。

    -
    表6 DWS数据连接配置参数

    参数名称

    描述

    示例

    Link Type

    连接类型。

    dws

    Name

    连接配置名称。

    dwslink

    Host

    待连接的DWS数据库IP地址。

    10.10.10.10

    Port

    数据库端口。

    8000

    DB Name

    待连接的数据库名称。

    default

    User

    数据库访问用户。

    test

    Password

    数据库访问密码。

    xxx

    Description

    描述信息。

    -
    表7 opengauss数据连接配置参数

    参数名称

    描述

    示例

    Link Type

    连接类型。

    opengauss

    Name

    连接配置名称。

    opengausslink

    Host

    待连接的opengauss数据库IP地址。

    10.10.10.10

    Port

    数据库端口。

    8000

    DB Name

    待连接的数据库名称。

    default

    User

    数据库访问用户。

    test

    Password

    数据库访问密码。

    xxx

    Description

    描述信息。

    -
    表8 ClickHouse数据连接配置参数

    参数名称

    描述

    示例

    Link Type

    连接类型。

    dws

    Name

    连接配置名称。

    clickhouselink

    Host

    ClickHouse的ClickHouseBalancer实例业务IP地址:HTTP Balancer端口号。支持连接多个ClickHouse实例，使用,分隔。

    说明：

    HTTP Balancer端口号可登录Manager界面，选择“集群 > 服务 > ClickHouse > 逻辑集群”，在集群列表的“HTTP Balancer端口号”列获取。

    10.10.10.10:21428

    User

    数据库访问用户。

    test

    Password

    数据库访问密码。

    xxx

    Description

    描述信息。

    -

  4. 参数配置完成后，单击“测试连接”，检查数据连通是否正常。

    连接校验通过后，单击“确定”完成数据连接创建。