更新时间:2026-08-13 GMT+08:00

MRS Iceberg数据连接参数说明

表1 MRS Iceberg数据连接

参数

是否必选

说明

数据连接类型

MRS Iceberg连接固定选择为MapReduce服务(MRS Iceberg)。

数据连接名称

数据连接的名称,只能包含字母、数字、下划线和中划线,且长度不超过100个字符。

描述

为更好地识别数据连接,此处加以描述信息,长度不能超过100个字符。

标签

标识数据连接的属性。设置标签后,便于统一管理。
说明:

标签的名称,只能包含中文、英文字母、数字和下划线,不能以下划线开头,且长度不能超过100个字符。

适用组件

选择此连接适用的组件。勾选组件后,才能在相应组件内使用本连接。

说明:
  • 当开启离线数据集成或实时数据集成作业特性后,可勾选数据集成组件,勾选后在数据开发组件创建集成作业时支持选择本数据连接。
  • 离线数据集成或实时数据集成作业功能当前需申请白名单后才能使用。如需使用该特性,请联系客服或技术支持人员

基础与网络连通配置

连接模式

选择连接模式。如无访问其他项目或企业项目下MRS集群的需求,使用集群名模式即可。
  • 使用集群名模式时,通过选择已有集群名称进行连接配置。仅可选择本项目内且企业项目相同的MRS集群进行连接。
  • 使用连接串模式时,通过手动输入Manager IP,并打通本连接Agent(即CDM集群)和MRS集群之间的网络,则可以访问其他项目或企业项目的MRS集群。

MRS集群名

通过MRS API连接或使用集群名模式时,是必选项。

选择所属的MRS集群。仅支持连接MRS云服务,自建Hadoop集群必须在纳管到MRS云服务后才可以选择。系统会显示所有项目ID和企业项目相同的MRS集群。
说明:
  • 连接MRS集群的组件时,需要在MRS集群安全组的出方向规则中放通对应组件的端口,各组件的端口详见MRS集群服务常用端口列表章节。
  • 当前DataArts Studio不支持对接“Kerberos加密类型”为“aes256-sha2,aes128-sha2”的MRS集群。如需对接MRS集群,请注意“Kerberos加密类型”应为“aes256-sha1,aes128-sha1”。

如果选择集群后连接失败,请检查MRS集群与作为Agent的CDM实例是否网络互通。网络互通需满足如下条件:
  • DataArts Studio实例中的CDM集群与MRS集群处于不同区域的情况下,需要通过公网或者专线打通网络。通过公网互通时,需确保CDM集群已绑定EIP,MRS集群可以访问公网且防火墙规则已开放连接端口。
  • DataArts Studio实例中的CDM集群与MRS集群同区域情况下,同虚拟私有云、同子网、同安全组的不同实例默认网络互通;如果同虚拟私有云但子网或安全组不同,还需配置路由规则及安全组规则,配置路由规则请参见如何配置路由规则章节,配置安全组规则请参见如何配置安全组规则章节。
  • 此外,还需确保该MRS集群与DataArts Studio工作空间所属的企业项目相同,如果不同,您需要修改工作空间的企业项目。
说明:

当同一Agent连接多个MRS集群时,如果其中一个MRS集群被删除或状态异常,会影响另外一个正常的MRS集群数据连接。因此建议一个Agent对应一个MRS集群数据连接。

Manager IP

使用连接串模式时,是必选项。

此参数填写为MRS Manager的浮动IP地址。仅支持连接MRS云服务,自建Hadoop集群必须先纳管到MRS云服务才能连接。
说明:

当前DataArts Studio不支持对接“Kerberos加密类型”为“aes256-sha2,aes128-sha2”的MRS集群。如需对接MRS集群,请注意“Kerberos加密类型”应为“aes256-sha1,aes128-sha1”。

注意,通过输入框后的“选择”按钮仅能获取本项目内且企业项目相同的MRS集群,如果需要访问其他项目或企业项目的MRS集群,则需要获取MRS Manager的浮动IP地址并手动输入,并确保已打通本连接Agent(即CDM集群)和MRS租户面集群之间的网络。Manager的浮动IP地址可通过登录MRS集群主Master节点获取,执行ifconfig命令,回显中eth0:wsom的IP就是MRS Manager的浮动IP。登录MRS集群Master节点请参见登录集群节点章节,如果登录的是非主Master节点无法查询,请切换到另一个Master节点查询。

手动填写IP时请根据场景和顺序填写,多个IP之间使用","分隔。例如: 127.0.0.1或127.0.0.1,127.0.0.2,127.0.0.3。
  • 填写单个IP,IP应为MRS集群管理面的浮动IP。
  • 填写3个IP时,应填写MRS集群业务面的主节点IP、备节点IP和MRS集群管理面的浮动IP。

jobGateway IP

通过MRS租户面连接或适用组件勾选数据集成且SQL执行方式为API时,是必选项。

JobGateway IP,可以通过MRS JobGateway模块获取对应的IP。

  • 由于管理面是双节点,此处填写两个IP地址,用英文逗号分隔。IP地址获取方法如下:

    登录MRS Manager管理面,进入管理面后,选择“集群 > JobGateway”页签,进入后在“实例”页签里面获取角色为JobBalancer的管理IP地址。

  • 如果是纳管集群,此处填写的是业务IP地址。

绑定Agent

MRS为非全托管服务,DataArts Studio无法直接与非全托管服务进行连接。CDM集群提供了DataArts Studio与非全托管服务通信的代理,所以创建MRS的数据连接时,请选择一个CDM集群。如果没有可用的CDM集群,请参考创建CDM集群进行创建。

CDM集群作为网络代理,必须和MRS集群网络互通才可以成功创建MRS连接,为确保两者网络互通,CDM集群必须和MRS集群处于相同的区域、可用区,且使用同一个VPC和子网,安全组规则需允许两者网络互通。

说明:

CDM集群作为管理中心数据连接Agent时,单集群的并发活动线程最大为200。即当多个数据连接共用同一Agent时,通过这些数据连接提交SQL脚本、Shell脚本、Python脚本等任务的同时运行上限为200,超出的任务将排队等待。建议您按照业务量情况规划多个Agent分担压力。

数据集成配置

属性配置

其他客户端配置属性。例如:
  1. socketTimeout:配置Hive JDBC连接超时时间,单位为秒。
  2. fs.defaultFS:配置HDFS元数据的NameNode URI地址。
  3. hadoop.user.name:配置访问HDFS时的用户名。

数据源认证及其他功能配置

认证类型

使用连接串模式时,是必选项。

访问MRS的认证类型:
  • SIMPLE:非安全模式选择Simple鉴权。
  • KERBEROS:安全模式选择Kerberos鉴权。

用户名

MRS集群的人机用户,通过代理连接时是必选项。如果使用新建的MRS用户进行连接,您需要先登录Manager页面,并更新初始密码。

如果要创建MRS安全集群的数据连接,不能使用admin用户。因为admin用户是默认的管理页面用户,无法作为安全集群的认证用户来使用。您可以参考创建MRS安全集群的kerberos认证用户创建一个新的MRS用户,然后在创建MRS数据连接时,“用户名”“密码”填写为新建的MRS用户及其密码。
说明:
  • MRS 3.1.0及之后版本集群,所创建的用户至少需具备Manager_viewer的角色权限才能在管理中心创建连接;如果需要对应组件进行库、表、数据的操作,还需要添加对应组件的用户组权限。
  • MRS 3.1.0版本之前的集群,所创建的用户需要具备Manager_administrator或System_administrator权限,才能在管理中心创建连接。
  • 仅具备Manager_tenant或Manager_auditor权限,无法创建连接。
  • 建议用户名的密码策略设置为永不过期,避免由于密码过期导致连接失败,引起业务受损。

密码

MRS集群的访问密码,通过代理连接的时候,是必选项。

OBS支持

适用组件勾选数据集成后,呈现此参数。

需服务端支持OBS存储。在创建Hive表时,您可以指定将表存储在OBS中。

使用委托

适用组件勾选数据集成且“OBS支持”选择“是”时,呈现此参数。

开启委托功能,即可以在无需持有永久AK\SK的情况下创建数据连接,根据DLF配置的调度身份执行CDM作业。

公共委托

适用组件勾选数据集成,“OBS支持”选择“是”,且“使用委托”选择“是”时,呈现此参数。

仅涉及用于测试该连接委托功能是否正常,作业运行将根据DLF配置的调度身份执行CDM作业。

访问标识(AK)

-

适用组件勾选数据集成,“OBS支持”选择“是”,且“使用委托”选择“否”时,呈现此参数。

AK和SK分别为登录OBS服务器的访问标识与密钥。

您需要先创建当前账号的访问密钥,并获得对应的AK和SK。

您可以通过如下方式获取访问密钥。
  1. 登录控制台,在用户名下拉列表中选择“我的凭证”。
  2. 进入“我的证”页面,选择访问密钥 > 新增访问密钥,如图1所示。
    图1 新增访问密钥

  3. 单击“确定”,根据浏览器提示,保存密钥文件。密钥文件会直接保存到浏览器默认的下载文件夹中。打开名称为“credentials.csv”的文件,即可查看访问密钥(Access Key Id和Secret Access Key)。
    说明:
    • 每个用户仅允许新增两个访问密钥。
    • 为保证访问密钥的安全,访问密钥仅在初次生成时自动下载,后续不可再次通过管理控制台界面获取。请在生成后妥善保管。

密钥(SK)

-

OBS测试路径

“OBS支持”设置为“是”时,呈现此参数。

请填写完整的文件路径,将调用元数据查询接口来校验路径的访问权限。

说明:
  • 如果是对象存储,路径需要填写到对象级别,否则会报错404,例如:“obs://bucket/dir/test.txt”
  • 如果是并行文件系统,则可以只填写到目录级别。例如:“obs://bucket/dir”