更新时间:2024-10-23 GMT+08:00
分享

OBS数据连接参数说明

表1 对象存储服务(OBS)连接

参数

是否必选

说明

数据连接类型

OBS连接固定选择为OBS。

数据连接名称

数据连接的名称,只能包含字母、数字、下划线和中划线,且长度不超过100个字符。

标签

标识数据连接的属性。设置标签后,便于统一管理。
说明:

标签的名称,只能包含中文、英文字母、数字和下划线,不能以下划线开头,且长度不能超过100个字符。

适用组件

选择此连接适用的组件。勾选组件后,才能在相应组件内使用本连接。

说明:
  • 当开启数据集成作业特性后,可勾选数据集成组件,勾选后在数据开发组件创建集成作业时支持选择本数据连接。
  • 离线处理集成作业功能当前需申请白名单后才能使用。如需使用该特性,请联系客服或技术支持人员

基础与网络连通配置

OBS终端节点

终端节点(Endpoint)即调用API的请求地址,不同服务不同区域的终端节点不同。您可以通过以下方式获取OBS桶的Endpoint信息:

OBS桶的Endpoint,可以进入OBS控制台概览页,单击桶名称后查看桶的基本信息获取。

端口

主机的SSH端口号。

KMS密钥

通过KMS加解密数据源认证信息,选择KMS中已创建的密钥。

绑定Agent

DWS为非全托管服务,DataArts Studio无法直接与非全托管服务进行连接。CDM集群提供了DataArts Studio与非全托管服务通信的代理,所以创建DWS的数据连接时,请选择一个CDM集群。如果没有可用的CDM集群,请先进行创建。

CDM集群作为网络代理,必须和DWS集群网络互通才可以成功创建DWS连接,为确保两者网络互通,CDM集群必须和DWS集群处于相同的区域、可用区,且使用同一个VPC和子网,安全组规则需允许两者网络互通。

说明:

CDM集群作为管理中心数据连接Agent时,单集群的并发活动线程最大为200。即当多个数据连接共用同一Agent时,通过这些数据连接提交SQL脚本、Shell脚本、Python脚本等任务的同时运行上限为200,超出的任务将排队等待。建议您按照业务量情况规划多个Agent分担压力。

数据源认证及其他功能配置

使用委托

“数据集成”参数开启,“数据目录”参数关闭时,呈现此参数。

如果IAM账号将OBS权限委托给DataArts Studio,则可以在无需持有OBS永久AK SK的情况下创建数据连接,由云服务使用委托的方式进行作业。

公共委托

“数据集成”参数开启,“数据目录”参数关闭时,呈现此参数。

工作空间级别的全局委托。适用于该空间内的所有作业。配置公共委托请参考配置公共委托

访问标识(AK)

使用委托为否时显示该参数。

AK和SK分别为登录OBS服务器的访问标识与密钥。

您需要先创建当前账号的访问密钥,并获得对应的AK和SK。

您可以通过如下方式获取访问密钥。
  1. 登录控制台,在用户名下拉列表中选择“我的凭证”。
  2. 进入“我的证”页面,选择访问密钥 > 新增访问密钥,如图1所示。
    图1 单击新增访问密钥
  3. 单击“确定”,根据浏览器提示,保存密钥文件。密钥文件会直接保存到浏览器默认的下载文件夹中。打开名称为“credentials.csv”的文件,即可查看访问密钥(Access Key Id和Secret Access Key)。
    说明:
    • 每个用户仅允许新增两个访问密钥。
    • 为保证访问密钥的安全,访问密钥仅在初次生成时自动下载,后续不可再次通过管理控制台界面获取。请在生成后妥善保管。

密钥(SK)

相关文档