文档首页/ 云数据迁移 CDM/ 用户指南/ 在CDM集群中创建连接/ 配置连接参数/ Kafka连接参数说明
更新时间：2025-04-23 GMT+08:00
查看PDF
分享

Kafka连接参数说明

MRS Kafka

连接MRS上的Kafka数据源时，相关参数如表1所示。

作业运行中禁止修改密码或者更换用户。在作业运行过程中修改密码或者更换用户，密码不会立即生效且作业会运行失败。

表1 MRS Kafka连接参数

参数名

说明

取值样例

名称

连接的名称，根据连接的数据源类型，用户可自定义便于记忆、区分的连接名。

kafka_link

Manager IP

输入或选择Manager IP。

通过“选择”来选定已创建的MRS集群，CDM会自动填充下面的鉴权参数。

Hadoop类型为MRS：输入MRS Manager IP。

Hadoop类型为FusionInsight HD：输入FusionInsight HD Manager IP。

手动填写IP时请根据场景和顺序填写：

  • 填写单个IP时，ip应为MRS集群管理面的浮动IP。
  • 填写2个IP时，应填写MRS集群业务面的主节点IP和备节点IP，多个IP之前使用";"分隔。
  • 填写3个IP时，应填写MRS集群业务面的主节点IP、备节点IP和MRS集群管理面的浮动IP，多个IP之间使用";"分隔。
    说明：

    当前DataArts Studio不支持对接“Kerberos加密类型”为“aes256-sha2,aes128-sha2”的MRS集群。如需对接MRS集群，请注意“Kerberos加密类型”应为“aes256-sha1,aes128-sha1”。
  • 127.0.0.1
  • 127.0.0.1;127.0.0.2;127.0.0.3

用户名

需要配置MRS Manager的用户名和密码。

如果要创建MRS安全集群的数据连接，不能使用admin用户。因为admin用户是默认的管理页面用户，这个用户无法作为安全集群的认证用户来使用。您可以创建一个新的MRS用户，然后在创建MRS数据连接时，“用户名”和“密码”填写为新建的MRS用户及其密码。
说明：
  • 如果CDM集群为2.9.0版本及之后版本，且MRS集群为3.1.0及之后版本，则所创建的用户至少需具备Manager_viewer的角色权限才能在CDM创建连接；如果需要对MRS组件的库、表、列进行操作，还需要参考MRS文档添加对应组件的库、表、列操作权限。
  • 如果CDM集群为2.9.0之前的版本，或MRS集群为3.1.0之前的版本，则所创建的用户需要具备Manager_administrator或System_administrator权限，才能在CDM创建连接。
  • 仅具备Manager_tenant或Manager_auditor权限，无法创建连接。

-

密码

访问MRS Manager的用户密码。

-

认证类型
访问MRS的认证类型：
  • SIMPLE：非安全模式选择Simple鉴权。
  • KERBEROS：安全模式选择Kerberos鉴权。

是

单击“显示高级属性”，然后单击“添加”，您可以添加客户端的配置属性。所添加的每个属性需配置属性名称和值。对于不再需要的属性，可单击属性后的“删除”按钮进行删除。

Apache Kafka

Apache Kafka连接适用于用户在本地数据中心或ECS上自建的第三方Kafka，其中本地数据中心的Kafka需通过专线连接。

连接Apache Hadoop上的Kafka数据源时，相关参数如表2所示。

表2 Apache Kafka连接参数

参数名

说明

取值样例

名称

连接的名称，根据连接的数据源类型，用户可自定义便于记忆、区分的连接名。

kafka_link

Kafka broker

Kafka broker的IP地址和端口。

192.168.1.1:9092

单击“显示高级属性”，然后单击“添加”，您可以添加客户端的配置属性。所添加的每个属性需配置属性名称和值。对于不再需要的属性，可单击属性后的“删除”按钮进行删除。

父主题： 配置连接参数

相关文档