更新时间:2022-02-24 GMT+08:00

创建数据连接

数据连接对应于数据开发模块管理的数据实体,它保存了数据实体的连接信息。同一个数据连接下,可支持多个作业运行和多个脚本开发,当数据连接保存的信息发生变化时,您只需在连接管理中编辑修改该数据连接的信息。

目前支持创建如下类型的数据连接。

  • DLI
  • DWS
  • MRS Hive
  • MRS SparkSQL
  • RDS

前提条件

  • 已开通或创建相应的云服务。

    例如,创建RDS类型的数据连接前,您需要先在RDS中创建数据库实例。

  • 数据连接的最大配额为20,当前数据连接的数量未达到最大配额。

操作步骤

  1. 创建数据连接的入口有两个,分别是连接管理页面和右侧区域。

    • 通过连接管理页面
      1. 数据开发模块控制台的左侧导航栏,选择数据管理 > 连接管理
      2. 在页面的右上方,单击“新建数据连接”
    • 通过右侧区域
      1. 数据开发模块控制台的左侧导航栏,选择数据开发 > 脚本开发/数据开发 > 作业开发
      2. 在右侧区域创建数据连接的方式有以下三种:

        方式一:单击“新建数据连接”

        图1 新建数据连接(方式一)

        方式二:在左侧菜单选择,右键单击根目录“数据连接”,选择“新建数据连接”

        图2 新建数据连接(方式二)

        方式三:打开详细的脚本或者作业,单击,选择“新建数据连接”

        图3 新建数据连接(方式三)

  2. 在弹出的对话框中,选择“数据连接类型”,并参见表1配置相关参数。

    表1 数据连接

    数据连接类型

    参数说明

    其他说明

    DLI

    请见表2

    DLI类型的数据连接只能创建一个。

    DWS

    请见表3

    -

    MRS Hive

    请见表4

    -

    MRS SparkSQL

    请见表5

    -

    RDS

    请见表6

    -

  3. 单击“测试”,测试数据连接的连通性。如果无法连通,数据连接将无法创建。
  4. 单击“确定”,创建数据连接。

参数说明

表2 DLI数据连接

参数

是否必选

说明

数据连接名称

数据连接的名称,只能包含英文字母、数字、“_”,且长度为1~100个字符。

表3 DWS数据连接

参数

是否必选

说明

数据连接名称

数据连接的名称,只能包含英文字母、数字、“_”,且长度为1~100个字符。

集群名

选择DWS集群。如果不直接选择DWS集群,用户需要配置“访问地址”“端口”

访问地址

是/否

DWS集群的访问地址。

  • 当用户在“集群名”中选择了DWS集群时,系统会自动填写为对应DWS集群的访问地址。
  • 当不选择DWS集群时,用户需要手动填写为DWS集群的访问地址。

端口

是/否

DWS集群的访问端口。

  • 当用户在“集群名”中选择了DWS集群时,系统会自动填写为对应DWS集群的访问端口。
  • 当不选择DWS集群时,用户需要手动填写为DWS集群的访问端口。

用户名

DWS集群的管理员用户。

密码

DWS集群的管理员密码。

SSL连接

是/否

DWS支持SSL认证方式的连接,以加密DWS客户端与数据库之间传输的数据。SSL连接方式的安全性高于普通模式,从安全性考虑,建议用户开启SSL连接。

KMS密钥

通过KMS加密和解密用户密码和密钥对的密码,选择KMS中已创建的密钥。

连接代理

DWS为非全托管服务,数据开发模块无法直接与非全托管服务进行连接。CDM集群提供了数据开发模块与非全托管服务通信的代理,所以创建DWS的数据连接时,请选择一个CDM集群。如果没有可用的CDM集群,请先创建一个CDM集群。

表4 MRS Hive数据连接

参数

是否必选

说明

数据连接名称

数据连接的名称,只能包含英文字母、数字、“_”,且长度为1~100个字符。

集群名

选择Hive所属的MRS集群。

连接方式

选择DLF连接MRS的方式。

通过代理连接

使用CDM集群的通信代理功能,连接DLF和MRS,推荐使用该方式。

选择该方式的用户还需配置如下参数:

  • 用户名(可选):MRS Manager管理员用户。部分MRS集群不需要配置用户名,以具体集群为准。
  • 密码(可选):MRS Manager管理员用户的密码。部分MRS集群不需要配置用户密码,以具体集群为准。
  • KMS密钥(可选):通过KMS加密和解密用户密码和密钥对的密码,选择KMS中已创建的密钥。
  • 连接代理(必选):选择可用的CDM集群。

直接连接

选择该方式的用户,将无法查看Hive数据表及字段内容;在线开发Hive SQL脚本时,执行结果只能在日志中查看。

表5 MRS SparkSQL数据连接

参数

是否必选

说明

数据连接名称

数据连接的名称,只能包含英文字母、数字、“_”,且长度为1~100个字符。

集群名

选择SparkSQL所属的MRS集群。

连接方式

选择DLF连接MRS的方式。

通过代理连接

使用CDM集群的通信代理功能,连接DLF和MRS,推荐使用该方式。

选择该方式的用户还需配置如下参数:

  • 用户名(可选):MRS Manager管理员用户。部分MRS集群不需要配置用户名,以具体集群为准。
  • 密码(可选):MRS Manager管理员用户的密码。部分MRS集群不需要配置用户密码,以具体集群为准。
  • KMS密钥(可选):通过KMS加密和解密用户密码和密钥对的密码,选择KMS中已创建的密钥。
  • 连接代理(必选):选择可用的CDM集群。

直接连接

选择该方式的用户,将无法查看Hive数据表及字段内容;在线开发SparkSQL脚本时,执行结果只能在日志中查看。

表6 RDS数据连接

参数

是否必选

说明

数据连接名称

数据连接的名称,只能包含英文字母、数字、“_”,且长度为1~100个字符。

IP

RDS实例的连接地址。

端口

RDS实例的端口。

驱动程序名称

选择数据库驱动程序的名称:

  • com.mysql.jdbc.Driver
  • org.postgresql.Driver

用户名

RDS实例的用户名,默认为root。

密码

RDS实例的密码。

KMS密钥

通过KMS加密和解密用户密码和密钥对的密码,选择KMS中已创建的密钥。

驱动路径

JDBC驱动程序的路径。

请根据实际需求提前在MySQL和PostgreSQL官网下载JDBC驱动程序,并上传到OBS桶中。

  • “驱动程序名称”选择的是“com.mysql.jdbc.Driver”时,请使用“mysql-connector-java-5.1.21.jar”驱动程序。
  • “驱动程序名称”选择的是“org.postgresql.Driver”时,请使用“postgresql-42.2.2.jar”驱动程序。

连接代理

RDS为非全托管服务,数据开发模块无法直接与非全托管服务进行连接。CDM集群提供了数据开发模块与非全托管服务通信的代理,所以创建RDS的数据连接时,请选择一个CDM集群。如果没有可用的CDM集群,请先创建一个CDM集群。