MRS Iceberg数据连接参数说明
| 参数 | 是否必选 | 说明 |
|---|---|---|
| 数据连接类型 | 是 | MRS Iceberg连接固定选择为MapReduce服务(MRS Iceberg)。 |
| 数据连接名称 | 是 | 数据连接的名称,只能包含字母、数字、下划线和中划线,且长度不超过100个字符。 |
| 描述 | 否 | 为更好地识别数据连接,此处加以描述信息,长度不能超过100个字符。 |
| 标签 | 否 | 标识数据连接的属性。设置标签后,便于统一管理。 说明: 标签的名称,只能包含中文、英文字母、数字和下划线,不能以下划线开头,且长度不能超过100个字符。 |
| 适用组件 | 是 | 选择此连接适用的组件。勾选组件后,才能在相应组件内使用本连接。 说明:
|
| 基础与网络连通配置 | ||
| 连接模式 | 否 | 选择连接模式。如无访问其他项目或企业项目下MRS集群的需求,使用集群名模式即可。
|
| MRS集群名 | 是 | 通过MRS API连接或使用集群名模式时,是必选项。 选择所属的MRS集群。仅支持连接MRS云服务,自建Hadoop集群必须在纳管到MRS云服务后才可以选择。系统会显示所有项目ID和企业项目相同的MRS集群。 说明:
如果选择集群后连接失败,请检查MRS集群与作为Agent的CDM实例是否网络互通。网络互通需满足如下条件:
说明: 当同一Agent连接多个MRS集群时,如果其中一个MRS集群被删除或状态异常,会影响另外一个正常的MRS集群数据连接。因此建议一个Agent对应一个MRS集群数据连接。 |
| Manager IP | 否 | 使用连接串模式时,是必选项。 此参数填写为MRS Manager的浮动IP地址。仅支持连接MRS云服务,自建Hadoop集群必须先纳管到MRS云服务才能连接。 说明: 当前DataArts Studio不支持对接“Kerberos加密类型”为“aes256-sha2,aes128-sha2”的MRS集群。如需对接MRS集群,请注意“Kerberos加密类型”应为“aes256-sha1,aes128-sha1”。 注意,通过输入框后的“选择”按钮仅能获取本项目内且企业项目相同的MRS集群,如果需要访问其他项目或企业项目的MRS集群,则需要获取MRS Manager的浮动IP地址并手动输入,并确保已打通本连接Agent(即CDM集群)和MRS租户面集群之间的网络。Manager的浮动IP地址可通过登录MRS集群主Master节点获取,执行ifconfig命令,回显中eth0:wsom的IP就是MRS Manager的浮动IP。登录MRS集群Master节点请参见登录集群节点章节,如果登录的是非主Master节点无法查询,请切换到另一个Master节点查询。 手动填写IP时请根据场景和顺序填写,多个IP之间使用","分隔。例如: 127.0.0.1或127.0.0.1,127.0.0.2,127.0.0.3。
|
| jobGateway IP | 是 | 通过MRS租户面连接或适用组件勾选数据集成且SQL执行方式为API时,是必选项。 JobGateway IP,可以通过MRS JobGateway模块获取对应的IP。 |
| 绑定Agent | 是 | MRS为非全托管服务,DataArts Studio无法直接与非全托管服务进行连接。CDM集群提供了DataArts Studio与非全托管服务通信的代理,所以创建MRS的数据连接时,请选择一个CDM集群。如果没有可用的CDM集群,请参考创建CDM集群进行创建。 CDM集群作为网络代理,必须和MRS集群网络互通才可以成功创建MRS连接,为确保两者网络互通,CDM集群必须和MRS集群处于相同的区域、可用区,且使用同一个VPC和子网,安全组规则需允许两者网络互通。 说明: CDM集群作为管理中心数据连接Agent时,单集群的并发活动线程最大为200。即当多个数据连接共用同一Agent时,通过这些数据连接提交SQL脚本、Shell脚本、Python脚本等任务的同时运行上限为200,超出的任务将排队等待。建议您按照业务量情况规划多个Agent分担压力。 |
| 数据集成配置 | ||
| 属性配置 | 否 | 其他客户端配置属性。例如:
|
| 数据源认证及其他功能配置 | ||
| 认证类型 | 是 | 使用连接串模式时,是必选项。 访问MRS的认证类型:
|
| 用户名 | 是 | MRS集群的人机用户,通过代理连接时是必选项。如果使用新建的MRS用户进行连接,您需要先登录Manager页面,并更新初始密码。 如果要创建MRS安全集群的数据连接,不能使用admin用户。因为admin用户是默认的管理页面用户,无法作为安全集群的认证用户来使用。您可以参考创建MRS安全集群的kerberos认证用户创建一个新的MRS用户,然后在创建MRS数据连接时,“用户名”和“密码”填写为新建的MRS用户及其密码。 说明:
|
| 密码 | 是 | MRS集群的访问密码,通过代理连接的时候,是必选项。 |
| OBS支持 | 否 | 适用组件勾选数据集成后,呈现此参数。 需服务端支持OBS存储。在创建Hive表时,您可以指定将表存储在OBS中。 |
| 使用委托 | 否 | 适用组件勾选数据集成且“OBS支持”选择“是”时,呈现此参数。 开启委托功能,即可以在无需持有永久AK\SK的情况下创建数据连接,根据DLF配置的调度身份执行CDM作业。 |
| 公共委托 | 是 | 适用组件勾选数据集成,“OBS支持”选择“是”,且“使用委托”选择“是”时,呈现此参数。 仅涉及用于测试该连接委托功能是否正常,作业运行将根据DLF配置的调度身份执行CDM作业。 |
| 访问标识(AK) | - | 适用组件勾选数据集成,“OBS支持”选择“是”,且“使用委托”选择“否”时,呈现此参数。 AK和SK分别为登录OBS服务器的访问标识与密钥。 您需要先创建当前账号的访问密钥,并获得对应的AK和SK。 您可以通过如下方式获取访问密钥。
|
| 密钥(SK) | - | |
| OBS测试路径 | 否 | “OBS支持”设置为“是”时,呈现此参数。 请填写完整的文件路径,将调用元数据查询接口来校验路径的访问权限。 说明:
|
