更新时间:2024-11-04 GMT+08:00
分享

实施及验证

源端配置操作步骤

  1. 登录事件网格控制台。
  2. 在左侧导航栏选择“事件流 > Serverless版事件流”,右上角单击“创建Serverless版事件流”。
  3. 左上角单击,配置事件流名称和描述,完成后单击“确定”。
  4. 配置Kafka事件源。

    1. 单击“事件源”,右侧弹出“事件源”弹窗。
    2. 事件提供方选择“分布式消息服务 Kafka版”。
    3. 设置事件源参数。
      图1 事件源-Kafka
      表1 配置参数说明

      参数名称

      说明

      实例

      选择Kafka实例。

      Topic

      选择Topic。

      消费组

      输入消费组。

      并发数

      输入并发数,输入值范围1~1000。

      建议并发数与选择的Topic的分区数保持一致,如果不一致可能会影响消息消费速率。当您选择Topic时,如果并发数为空会读取您选择的Topic的分区数作为并发数。

      消费点位

      选择消费点位。

      • 最新点位:将会从消息队列的最新消息开始消费。
      • 最早点位:将会从消息队列的最早消息开始消费。

      SASL认证机制

      当Kafka实例开启SASL SSL时可见,选择SASL认证机制。

      • PLAIN:一种简单的用户名密码校验机制。
      • SCRAM-SHA-512:采用哈希算法对用户名与密码生成凭证,进行身份校验的安全认证机制,比PLAIN机制安全性更高。

      SASL证书地址

      当Kafka实例开启SASL SSL时可见,输入SASL证书地址。获取地址请参考如何获取分布式消息服务Kafka实例的SASL证书地址

      说明:
      • 必须使用zip压缩包,压缩包内的文件数量不超过两个,压缩包和文件大小均不可超过1M;
      • 压缩包里证书的名称必须是固定的:client.jks。

      SASL证书密钥

      当Kafka实例开启SASL SSL时可见,输入SASL证书密钥。

      用户名

      当Kafka实例开启SASL SSL时可见,输入实例用户名。

      用户密码

      当Kafka实例开启SASL SSL时可见,输入实例用户密码。

  5. 单击“保存”,完成配置事件源。

目标端配置操作步骤

  1. 配置事件目标。

    1. 单击“事件目标”,右侧弹出“事件目标”弹窗。
    2. 目标服务选择“分布式消息服务 Kafka版”。
    3. 设置事件目标参数。
      图2 分布式消息服务 Kafka版
      表2 分布式消息服务 Kafka版参数说明

      参数名称

      说明

      目标连接

      选择目标连接。如果还未创建目标连接,请先创建分布式消息服务Kafka版目标连接

      Topic

      选择Topic。先选目标连接以加载Topic选项。

      消息Key配置

      关闭

      不启用消息Key。

      开启

      变量:从CloudEvents标准事件中获取变量值,将变量值作为Key值。

      常量:将指定的常量作为key值。若选择常量,所有消息将发送至同一分区。

      规则配置

      类型

      变量:data.value

      如果需要了解更多转换类型的信息,请参考事件内容转换

      消息推送

      批量推送

      配置是否开启批量推送,批量推送可帮您批量聚合多个事件。

      批量推送条数

      推送间隔

      开启批量推送可见,每次批量推送的最大聚合条数,默认值100,输入值范围1~10000。

      开启批量推送可见,输入批量推送间隔,默认值1,输入值范围0~15,单位:秒。

      事件目标kafka不支持自定义证书。

      表3 批量推送示例

      批量推送条数

      推送间隔

      实际发送效果

      100条

      1s

      每隔1s批量推送100条消息

      200条

      5s

      每隔5s批量推送500条消息

  2. 配置完成后,单击“确定”。
  3. 单击“事件流列表”操作列的“启用”,待状态列显示为“运行中”则代表整个链路创建成功。

测试验证

  1. 登录分布式消息服务Kafka版控制台,选择Kafka实例所在的区域。
  2. 在“Kafka专享版”页面,单击目标端所在Kafka实例的名称,进入实例详情页面。
  3. 选择“消息查询”,分别查看源端topic和目标端topic的“消息体”。

    图3 目标端消息
    图4 源端消息

    单消息需保持大小在2M以下。

  4. 如消息一致,则Kafka实例间的数据同步成功。

相关文档