文档首页/ 云数据迁移 CDM/ 用户指南/ 在CDM集群中创建连接/ 配置连接参数/ MRS Hudi连接参数说明
更新时间：2024-10-17 GMT+08:00
查看PDF
分享

MRS Hudi连接参数说明

连接MRS Hudi时，相关参数如表1所示。

作业运行中禁止修改密码或者更换用户。在作业运行过程中修改密码或者更换用户，密码不会立即生效且作业会运行失败。

表1 Hudi连接参数

参数名

说明

取值样例

名称

连接名称。

Hudilink

Manager IP
MRS Manager的浮动IP地址，可以单击输入框后的“选择”来选定已创建的MRS集群，CDM会自动填充下面的鉴权参数。
说明：

当前DataArts Studio不支持对接“Kerberos加密类型”为“aes256-sha2,aes128-sha2”的MRS集群。如需对接MRS集群，请注意“Kerberos加密类型”应为“aes256-sha1,aes128-sha1”。

127.0.0.1

认证类型

访问MRS的认证类型：

  • SIMPLE：非安全模式选择Simple鉴权。
  • KERBEROS：安全模式选择Kerberos鉴权。

KERBEROS

账号

登录MRS Manager的账号。

cdm

密码

登录MRS Manager的密码。

-

OBS支持

是否支持OBS存储，如果hudi表数据存储在OBS，需要打开此开关。

是

访问标识（AK）

“OBS支持”设置为“是”时，呈现此参数。

AK和SK分别为登录OBS服务器的访问标识与密钥。

您需要先创建当前账号的访问密钥，并获得对应的AK和SK。

您可以通过如下方式获取访问密钥。
  1. 登录控制台，在用户名下拉列表中选择“我的凭证”。
  2. 进入“我的凭证”页面，选择“访问密钥 > 新增访问密钥”，如图1所示。
    图1 单击新增访问密钥
  3. 单击“确定”，根据浏览器提示，保存密钥文件。密钥文件会直接保存到浏览器默认的下载文件夹中。打开名称为“credentials.csv”的文件，即可查看访问密钥（Access Key Id和Secret Access Key）。
    说明：
    • 每个用户仅允许新增两个访问密钥。
    • 为保证访问密钥的安全，访问密钥仅在初次生成时自动下载，后续不可再次通过管理控制台界面获取。请在生成后妥善保管。

-

密钥（SK）

-

OBS测试路径

“OBS支持”设置为“是”时，呈现此参数。

请填写完整的文件路径，将调用元数据查询接口来校验路径的访问权限。

说明：
  • 如果是对象存储，路径需要填写到对象级别，否则会报错404，例如：“obs://bucket/dir/test.txt”。
  • 如果是并行文件系统，则可以只填写到目录级别。例如：“obs://bucket/dir”。

obs://bucket/dir/test.txt

属性配置

需要集成的表名，多个表名使用英文逗号“,”分开，请务必配置，不要有空格，默认无需配置。

-
父主题： 配置连接参数

相关文档