更新时间:2023-12-22 GMT+08:00

新建DWS连接

本章节以新建DWS连接为例,介绍如何建立DataArts Studio与数据仓库底座之间的数据连接。

前提条件

  • 在创建数据连接前,请确保您已创建所要连接的数据湖(如DataArts Studio所支持的数据库、云服务等)。
    • 在创建DWS类型的数据连接前,您需要先在DWS服务中创建集群,并且具有KMS密钥的查看权限。
    • 在创建MRS HBase、MRS Hive等MRS类型的数据连接前,需确保您已购买MRS集群,并且在创建数据链接时已购买选择所需要的组件。
  • 在创建数据连接前,请确保待连接的数据湖与DataArts Studio实例之间网络互通。
    • 如果数据湖为云下的数据库,则需要通过公网或者专线打通网络,确保数据源所在的主机可以访问公网,并且防火墙规则已开放连接端口。
    • 如果数据湖为云上服务(如DWS、MRS等),则网络互通需满足如下条件:
      • DataArts Studio实例(指DataArts Studio实例中的CDM集群)与云上服务处于不同区域的情况下,需要通过公网或者专线打通网络。
      • DataArts Studio实例(指DataArts Studio实例中的CDM集群)与云上服务同区域情况下,同虚拟私有云、同子网、同安全组的不同实例默认网络互通;如果同虚拟私有云但是子网或安全组不同,还需配置路由规则及安全组规则,配置路由规则请参见如何配置路由规则章节,配置安全组规则请参见如何配置安全组规则章节。
      • 此外,您还必须确保该云服务的实例与DataArts Studio工作空间所属的企业项目必须相同,如果不同,您需要修改工作空间的企业项目。
  • 如果使用企业模式,您还需要注意以下事项:
    由于企业模式下需要区分开发环境和生产环境,因此您需要分别准备对应生产环境和开发环境的两套数据湖服务,用于隔离开发和生产环境:
    • 对于集群化的数据源(例如MRS、DWS、RDS、MySQL、Oracle、DIS、ECS),如果使用两套集群DataArts Studio通过管理中心的创建数据连接区分开发环境和生产环境的数据湖服务,在开发和生产流程中自动切换对应的数据湖。因此您需要准备两套数据湖服务,且两套数据湖服务的版本、规格、组件、区域、VPC、子网以及相关配置等信息,均应保持一致。创建数据连接的详细操作请参见新建数据连接
    • 对于Serverless服务(例如DLI),DataArts Studio通过管理中心的环境隔离来配置生产环境和开发环境数据湖服务的对应关系,在开发和生产流程中自动切换对应的数据湖。因此您需要在Serverless数据湖服务中准备两套队列、数据库资源,建议通过名称后缀进行区分,详细操作请参见配置企业模式环境隔离
    • 对于DWS、MRS Hive和MRS Spark这三种数据源,如果在创建数据连接时选择同一个集群,则需要配置数据源资源映射的DB数据库映射关系进行开发生产环境隔离,详细操作请参见DB配置

    例如,当您的数据湖服务为MRS集群时,需要准备两套MRS集群,且版本、规格、组件、区域、VPC、子网等保持一致。如果某个MRS集群修改了某些配置,也需要同步到另一套MRS集群上。

创建数据连接

  1. DataArts Studio控制台首页,选择对应工作空间的“管理中心”模块,进入管理中心页面。
    图1 选择管理中心

  1. 在管理中心页面,单击“数据连接”,进入数据连接页面。
    图2 创建数据连接
  1. 单击“创建数据连接”,在弹出的页面中,选择“数据连接类型”为“数据仓库服务(DWS)”,并参见表1配置相关参数。
    图3 DWS连接配置参数
    表1 DWS数据连接

    参数

    是否必选

    说明

    数据连接类型

    DWS连接固定选择为数据仓库服务(DWS)。

    数据连接名称

    数据连接的名称,只能包含英文字母、数字、下划线和中划线,且长度为1~50个字符。

    标签

    标识数据连接的属性。设置标签后,便于统一管理。
    说明:

    标签的名称,只能包含中文、英文字母、数字和下划线,不能以下划线开头。且长度不能超过100个字符。

    适用组件

    选择此连接适用的组件。勾选组件后,才能在相应组件内使用本连接。

    默认全选。全选适用组件后,在支持该数据源的组件内都可以使用本连接。各组件支持的数据源请参考DataArts Studio支持的数据源

    基础与网络连通配置

    SSL加密

    DWS支持SSL通道加密和证书认证两种方式进行客户端与服务器端的通信。您可以通过服务器端是否强制使用SSL连接进行设置。开关打开,即只能通过SSL方式连接。开关关闭,即两种方式均可。默认关闭。

    手动

    选择连接模式。

    • 使用集群名模式时,通过选择已有集群名称进行连接配置。
    • 使用连接串模式时,手动填写对应集群的IP或域名、端口进行连接配置,且需打通本连接Agent(即CDM集群)和DWS集群之间的网络。

    DWS集群名

    “手动”选择为“集群名模式”时需要配置本参数。

    选择DWS集群,系统会显示所有项目ID和企业项目相同的DWS集群。

    IP或域名

    “手动”选择为“连接串模式”时需要配置本参数。

    表示通过内部网络访问集群数据库的访问地址,可填写为IP或域名。内网访问IP或域名地址在创建集群时自动生成,您可以通过管理控制台获取访问地址:
    1. 根据注册的账号登录DWS云服务管理控制台。
    2. 从左侧列表选择实例管理。
    3. 单击某一个实例名称,进入实例基本信息页面。在连接信息标签中可以获取到内网IP、域名和端口等信息。

    端口

    “手动”选择为“连接串模式”时需要配置本参数。

    表示创建DWS集群时指定的数据库端口号。请确保您已在安全组规则中开放此端口,以便DataArts Studio实例可以通过该端口连接DWS集群数据库。

    KMS密钥

    通过KMS加解密数据源认证信息,选择KMS中已创建的密钥。

    绑定Agent

    DWS为非全托管服务,DataArts Studio无法直接与非全托管服务进行连接。CDM集群提供了DataArts Studio与非全托管服务通信的代理,所以创建DWS的数据连接时,请选择一个CDM集群。如果没有可用的CDM集群,请先通过数据集成增量包进行创建。

    CDM集群作为网络代理,必须和DWS集群网络互通才可以成功创建DWS连接,为确保两者网络互通,CDM集群必须和DWS集群处于相同的区域、可用区、VPC和子网,安全组规则需允许两者网络互通。

    说明:

    CDM集群作为管理中心数据连接Agent时,单集群的并发活动线程最大为200。即当多个数据连接共用同一Agent时,通过这些数据连接提交SQL脚本、Shell脚本、Python脚本等任务的同时运行上限为200,超出的任务将排队等待。建议您按照业务量情况规划多个Agent分担压力。

    数据源认证及其他功能配置

    用户名

    数据库的用户名,创建DWS集群时指定的用户名。

    密码

    数据库的访问密码,创建DWS集群时指定的密码。

  2. 单击“测试”,测试数据连接的连通性。如果无法连通,数据连接将无法创建。
  3. 测试通过后,单击“确定”,创建数据连接。

参考

  1. 创建DWS数据连接,开启SSL连接时测试连接失败?
    可能是由于DWS集群的三权分立功能导致的。请在DWS控制台,单击进入对应的DWS集群后,选择“安全设置”,然后关闭三权分立功能。
    图4 关闭DWS集群三权分立功能
  2. 为什么DWS数据连接突然无法获取数据库或表的信息?

    可能是由于CDM集群被关闭或者并发冲突导致,您可以通过切换agent代理来临时规避此问题。