更新时间:2026-03-19 GMT+08:00
分享

DWS数据连接参数说明

表1 DWS数据连接

参数

是否必选

说明

数据连接类型

DWS连接固定选择为数据仓库服务(DWS)。

数据连接名称

数据连接的名称,只能包含字母、数字、下划线和中划线,且长度不超过100个字符。

描述

为更好地识别数据连接,此处加以描述信息,长度不能超过100个字符。

标签

标识数据连接的属性。设置标签后,便于统一管理。
说明:

标签的名称,只能包含中文、英文字母、数字和下划线,不能以下划线开头,且长度不能超过100个字符。

适用组件

选择此连接适用的组件。勾选组件后,才能在相应组件内使用本连接。

说明:
  • 当开启离线数据集成或实时数据集成作业特性后,可勾选数据集成组件,勾选后在数据开发组件创建集成作业时支持选择本数据连接。
  • 离线数据集成或实时数据集成作业功能当前需申请白名单后才能使用。如需使用该特性,请联系客服或技术支持人员

空间成员是否可见

管理中心在新建连接时候调用数据安全接口设置安全策略,默认当前创建人(非管理员)和空间管理员都有权限创建数据连接,因此当前用户和管理均可以看见该连接。创建连接支持数据连接可见性的选择,如果是选择可见,那这个连接大家都可以看到并且使用,如果选择不可见,则除了创建人别人都无法看见和使用该数据连接。

非授权对象的普通用户(即非DAYU Administrator、Tenant Administrator、数据安全管理员或预置的工作空间管理员角色的用户)将无权再查看并使用该连接。

基础与网络连通配置

SSL加密

DWS支持SSL通道加密和证书认证两种方式进行客户端与服务器端的通信。您可以通过服务器端是否强制使用SSL连接进行设置。
  • 开关打开,即只能通过SSL方式进行通信。
  • 开关关闭,SSL通道加密和证书认证两种方式均可进行通信。

手动

选择连接模式。

  • 使用集群名模式时,通过选择已有集群名称进行连接配置。
  • 使用连接串模式时,手动填写对应集群的IP或域名、端口进行连接配置,且需打通本连接Agent(即CDM集群)和DWS集群之间的网络。
    说明:

    数据安全不支持连接串模式的DWS连接。

DWS集群名

“手动”选择为“集群名模式”时需要配置本参数。

选择DWS集群,系统会显示所有项目ID和企业项目相同的DWS集群。

说明:

建议选择英文集群名,选择中文集群名将会导致创建数据连接失败。

JDBC连接IP或域名

“手动”选择为“集群名模式”时需要配置本参数。

下拉选择DWS ELB域名或ELB IP,建议优先配置DWS ELB域名,如果DWS不支持则配置ELB IP。

IP或域名

“手动”选择为“连接串模式”时需要配置本参数。

表示通过内部网络访问集群数据库的访问地址,可填写为IP或域名。内网访问IP或域名地址在创建集群时自动生成,您可以通过管理控制台获取访问地址:
  1. 根据注册的账号登录DWS云服务管理控制台。
  2. 从左侧列表选择实例管理。
  3. 单击某一个实例名称,进入实例基本信息页面。在连接信息标签中可以获取到内网IP、域名和端口等信息。

端口

“手动”选择为“连接串模式”时需要配置本参数。

表示创建DWS集群时指定的数据库端口号。请确保您已在安全组规则中开放此端口,以便DataArts Studio实例可以通过该端口连接DWS集群数据库。

KMS加密密钥

通过KMS加解密数据源认证信息,选择KMS中的任一默认密钥或自定义密钥即可。
说明:
  • 第一次通过DataArts Studio或KPS使用KMS加密时,会自动生成默认密钥dlf/default或kps/default。关于默认密钥的更多信息,请参见什么是默认密钥
  • 仅支持通过对称密钥加密,暂不支持非对称密钥。

绑定Agent

DWS为非全托管服务,DataArts Studio无法直接与非全托管服务进行连接。CDM集群提供了DataArts Studio与非全托管服务通信的代理,所以创建DWS的数据连接时,请选择一个CDM集群。如果没有可用的CDM集群,请参考创建CDM集群进行创建。

CDM集群作为网络代理,必须和DWS集群网络互通才可以成功创建DWS连接,为确保两者网络互通,CDM集群必须和DWS集群处于相同的区域、可用区,且使用同一个VPC和子网,安全组规则需允许两者网络互通。

说明:

CDM集群作为管理中心数据连接Agent时,单集群的并发活动线程最大为200。即当多个数据连接共用同一Agent时,通过这些数据连接提交SQL脚本、Shell脚本、Python脚本等任务的同时运行上限为200,超出的任务将排队等待。建议您按照业务量情况规划多个Agent分担压力。

数据源认证及其他功能配置

用户名

数据库的用户名,创建DWS集群时指定的用户名。

密码

数据库的访问密码,创建DWS集群时指定的密码。

元数据实时同步

打开元数据实时同步开关后,连接的DWS集群元数据会实时同步到数据地图组件,推荐开启。

说明:
  • DWS集群8.2.0及以上版本支持元数据实时同步功能。
  • 元数据实时同步功能是否开启,会被DataArts Studio实例内的同DWS集群连接影响,最终是否开启取决于最近配置的连接中的开关状态。即当一个DWS连接关闭或者开启实时同步,所有同DWS集群连接都会同步开启或者关闭实时同步。

    例如DataArts Studio实例内同一工作空间内或者跨工作空间的两个DWS连接(连接的是相同DWS集群),先配置的连接打开元数据实时同步开关,后配置的连接关闭元数据实时同步开关,则最终此DWS集群的元数据实时同步功能为关闭状态。如果先配置的连接关闭开关,后配置的连接打开开关,则最终此DWS集群的元数据实时同步功能为开启状态。

元数据采集范围

配置元数据实时同步的数据库和数据表范围,不填写默认不筛选。

可填写为如下两种形式之一:

  • database_name:筛选数据库名包含“database_name”的数据库
  • database_name.table_name:筛选数据库名包含“database_name”的数据库,在匹配到的数据库中再匹配表名包含“table_name”的数据表

例如:

  • 填写为“datatest”,则元数据实时同步将同步数据库名包含“datatest”的数据库中的数据表。
  • 填写为“datatest.table1”,则元数据实时同步将同步如下数据表:数据库名包含“datatest”的数据库,其中表名包含“table_name”的数据表。

数据集成配置

数据库名称

适用组件勾选数据集成后,呈现此参数。

配置为要连接的数据库名称。

单次请求行数

适用组件勾选数据集成后,呈现此参数。

指定每次请求获取的行数,根据数据源端和作业数据规模的大小配置该参数。如果配置过大或过小,可能影响作业的时长。

连接属性

适用组件勾选数据集成后,呈现此参数。

可选参数,单击“添加”可增加多个指定数据源的JDBC连接器的属性,参考对应数据库的JDBC连接器说明文档进行配置。

常见配置举例如下:

connectTimeout=60socketTimeout=300:迁移数据量较大、或通过查询语句检索全表时,会由于连接超时导致迁移失败。此时可自定义连接超时时间与socket超时时间(单位毫秒),避免超时导致失败。

引用符号

适用组件勾选数据集成后,呈现此参数。

可选参数,连接引用表名或列名时的分隔符号,参考对应数据库的产品文档进行配置。

相关文档