更新时间:2024-10-24 GMT+08:00

MRS Hudi连接参数说明

连接MRS Hudi时,相关参数如表1所示。

作业运行中禁止修改密码或者更换用户。在作业运行过程中修改密码或者更换用户,密码不会立即生效且作业会运行失败。

表1 Hudi连接参数

参数名

说明

取值样例

名称

连接名称。

Hudilink

Manager IP

MRS Manager的浮动IP地址,可以单击输入框后的“选择”来选定已创建的MRS集群,CDM会自动填充下面的鉴权参数。
说明:

当前DataArts Studio不支持对接“Kerberos加密类型”为“aes256-sha2,aes128-sha2”的MRS集群。如需对接MRS集群,请注意“Kerberos加密类型”应为“aes256-sha1,aes128-sha1”。

127.0.0.1

认证类型

访问MRS的认证类型:

  • SIMPLE:非安全模式选择Simple鉴权。
  • KERBEROS:安全模式选择Kerberos鉴权。

KERBEROS

账号

登录MRS Manager的账号。

cdm

密码

登录MRS Manager的密码。

-

OBS支持

是否支持OBS存储,如果hudi表数据存储在OBS,需要打开此开关。

访问标识(AK)

“OBS支持”设置为“是”时,呈现此参数。

AK和SK分别为登录OBS服务器的访问标识与密钥。

您需要先创建当前账号的访问密钥,并获得对应的AK和SK。

您可以通过如下方式获取访问密钥。
  1. 登录控制台,在用户名下拉列表中选择“我的凭证”。
  2. 进入“我的证”页面,选择访问密钥 > 新增访问密钥,如图1所示。
    图1 单击新增访问密钥
  3. 单击“确定”,根据浏览器提示,保存密钥文件。密钥文件会直接保存到浏览器默认的下载文件夹中。打开名称为“credentials.csv”的文件,即可查看访问密钥(Access Key Id和Secret Access Key)。
    说明:
    • 每个用户仅允许新增两个访问密钥。
    • 为保证访问密钥的安全,访问密钥仅在初次生成时自动下载,后续不可再次通过管理控制台界面获取。请在生成后妥善保管。

-

密钥(SK)

-

OBS测试路径

“OBS支持”设置为“是”时,呈现此参数。

请填写完整的文件路径,将调用元数据查询接口来校验路径的访问权限。

说明:
  • 如果是对象存储,路径需要填写到对象级别,否则会报错404,例如:“obs://bucket/dir/test.txt”
  • 如果是并行文件系统,则可以只填写到目录级别。例如:“obs://bucket/dir”

obs://bucket/dir/test.txt

属性配置

需要集成的表名,多个表名使用英文逗号“,”分开,请务必配置,不要有空格,默认无需配置。

-