文档首页/云数据迁移 CDM/用户指南/在CDM集群中创建连接/配置连接参数/MRS Hudi连接参数说明
更新时间：2026-03-17 GMT+08:00
查看PDF
分享

MRS Hudi连接参数说明

连接MRS Hudi时，相关参数如表1所示。

作业运行中禁止修改密码或者更换用户。在作业运行过程中修改密码或者更换用户，密码不会立即生效且作业会运行失败。

表1 Hudi连接参数

参数名

说明

取值样例

名称

连接名称。

Hudilink

Manager IP

输入或选择Manager IP。

通过“选择”来选定已创建的MRS集群，CDM会自动填充下面的鉴权参数。

Hadoop类型为MRS：输入MRS Manager IP。

Hadoop类型为FusionInsight HD：输入FusionInsight HD Manager IP。

手动填写IP时请根据场景和顺序填写：

  • 填写单个IP时，ip应为MRS集群管理面的浮动IP。
  • 填写2个IP时，应填写MRS集群业务面的主节点IP和备节点IP，多个IP之间使用";"分隔。
  • 填写3个IP时，应填写MRS集群业务面的主节点IP、备节点IP和MRS集群管理面的浮动IP，多个IP之间使用";"分隔。
说明：

当前DataArts Studio不支持对接“Kerberos加密类型”为“aes256-sha2,aes128-sha2”的MRS集群。如需对接MRS集群，请注意“Kerberos加密类型”应为“aes256-sha1,aes128-sha1”。

  • 127.0.0.1
  • 127.0.0.1;127.0.0.2;127.0.0.3

认证类型

访问MRS的认证类型：

  • SIMPLE：非安全模式选择Simple鉴权。
  • KERBEROS：安全模式选择Kerberos鉴权。

KERBEROS

账号

登录MRS Manager的账号。

cdm

密码

登录MRS Manager的密码。

-

OBS支持

是否支持OBS存储，如果hudi表数据存储在OBS，需要打开此开关。

是

访问标识（AK）

“OBS支持”设置为“是”时，呈现此参数。

AK和SK分别为登录OBS服务器的访问标识与密钥。

您需要先创建当前账号的访问密钥，并获得对应的AK和SK。

您可以通过如下方式获取访问密钥。
  1. 登录控制台，在用户名下拉列表中选择“我的凭证”。
  2. 进入“我的凭证”页面，选择“访问密钥 > 新增访问密钥”，如图1所示。
    图1 单击新增访问密钥
  3. 单击“确定”，根据浏览器提示，保存密钥文件。密钥文件会直接保存到浏览器默认的下载文件夹中。打开名称为“credentials.csv”的文件，即可查看访问密钥（Access Key Id和Secret Access Key）。
    说明：
    • 每个用户仅允许新增两个访问密钥。
    • 为保证访问密钥的安全，访问密钥仅在初次生成时自动下载，后续不可再次通过管理控制台界面获取。请在生成后妥善保管。

-

密钥（SK）

-

OBS测试路径

“OBS支持”设置为“是”时，呈现此参数。

请填写完整的文件路径，将调用元数据查询接口来校验路径的访问权限。

说明：
  • 如果是对象存储，路径需要填写到对象级别，否则会报错404，例如：“obs://bucket/dir/test.txt”。
  • 如果是并行文件系统，则可以只填写到目录级别。例如：“obs://bucket/dir”。

obs://bucket/dir/test.txt

属性配置

其他客户端配置属性。

  • socketTimeout：配置Spark JDBC连接超时时间，单位为秒。
  • fs.defaultFS：配置HDFS元数据的NameNode URI地址。
  • hadoop.user.name：配置访问HDFS时的用户名。
  • keepStageTableWhenFailed: 任务失败时是否保留临时表，断点续传场景需要设置为true，默认为false。

-

默认运行队列

指定请求参数queue的值，决定spark任务提交到哪个队列运行。

default

父主题：配置连接参数

相关文档