更新时间:2024-05-07 GMT+08:00

接入MRS Kafka数据源

概述

ROMA Connect支持把MRS Kafka作为一个数据源,并用于数据集成任务。在使用MRS Kafka数据源前,您需要先接入数据源。

前提条件

  • 每个接入的数据源都要归属到某个集成应用下,在接入数据源前您需要有可用的集成应用,否则请提前创建集成应用
  • MRS Kafka数据源所在的MRS集群已开启Kerberos认证,并已为机机交互用户配置执行权限,具体请参考准备开发用户

操作步骤

  1. 登录ROMA Connect控制台,在“实例”页面单击实例上的“查看控制台”,进入实例控制台。
  2. 在左侧的导航栏选择“数据源管理”,单击页面右上角的“接入数据源”。
  3. 在接入数据源页面的“默认数据源”页签下,选择“MRS Kafka”类型的数据源,然后单击“下一步”。
  4. 在页面中配置数据源的连接信息。
    表1 数据源连接信息

    参数

    配置说明

    数据源名称

    填写数据源的名称,根据规划自定义。建议您按照一定的命名规则填写数据源名称,方便您快速识别和查找。

    编码格式

    默认“utf-8”格式。

    集成应用

    选择数据源所归属的集成应用。

    描述

    填写数据源的描述信息。

    机机交互用户名

    填写连接MRS Kafka的机机类型用户名。

    上传配置文件

    单击“上传文件”,上传MRS Kafka配置文件。配置文件获取请参考获取MRS Kafka配置文件。

    获取MRS Kafka配置文件

    1. 获取“krb5.conf”和“user.keytab”文件。

      参考下载用户认证文件,在MRS Manager下载用户认证文件,解压后得到“krb5.conf”和 “user.keytab”文件。

    2. 获取“producer.properties”、“consumer.properties”,“hosts”文件。

      参考更新客户端配置文件,在MRS控制台下载客户端配置文件,解压后:

      • 从“xxx_Services_ClientConfig_ConfigFiles”路径中得到“hosts”文件。
      • 从“xxx_Services_ClientConfig_ConfigFiles > Kafka > config”路径中得到“producer.properties”和“consumer.properties”文件。

        分别修改“producer.properties”文件名为“fikafka-producer.properties”,“consumer.properties”为“fikafka-consumer.properties”,并拷贝“fikafka-producer.properties”中的“bootstrap.servers”到“fikafka-consumer.properties”文件中。

    3. 生成MRS Kafka配置文件。

      将上述获取到的文件放到一个新的目录下,并打包成zip文件,所有文件位于zip文件的根目录下。

      • 文件名只能由英文字母或数字组成,长度不超过255个字符。
      • 文件大小不超过2MB。
  5. 单击“创建”,完成数据源的接入。