实施及验证
源端配置操作步骤
- 登录事件网格控制台。
- 在左侧导航栏选择“事件流 > Serverless版事件流”,右上角单击“创建Serverless版事件流”。
- 左上角单击,配置事件流名称和描述,完成后单击“确定”。
- 配置Kafka事件源。
- 单击“事件源”,右侧弹出“事件源”弹窗。
- 事件提供方选择“分布式消息服务 Kafka版”。
- 设置事件源参数。
图1 事件源-Kafka
表1 配置参数说明 参数名称
说明
实例
选择Kafka实例。
Topic
选择Topic。
消费组
输入消费组。
并发数
输入并发数,输入值范围1~1000。
建议并发数与选择的Topic的分区数保持一致,如果不一致可能会影响消息消费速率。当您选择Topic时,如果并发数为空会读取您选择的Topic的分区数作为并发数。
消费点位
选择消费点位。
- 最新点位:将会从消息队列的最新消息开始消费。
- 最早点位:将会从消息队列的最早消息开始消费。
SASL认证机制
当Kafka实例开启SASL SSL时可见,选择SASL认证机制。
- PLAIN:一种简单的用户名密码校验机制。
- SCRAM-SHA-512:采用哈希算法对用户名与密码生成凭证,进行身份校验的安全认证机制,比PLAIN机制安全性更高。
SASL证书地址
当Kafka实例开启SASL SSL时可见,输入SASL证书地址。获取地址请参考如何获取分布式消息服务Kafka实例的SASL证书地址。
说明:- 必须使用zip压缩包,压缩包内的文件数量不超过两个,压缩包和文件大小均不可超过1M;
- 压缩包里证书的名称必须是固定的:client.jks。
SASL证书密钥
当Kafka实例开启SASL SSL时可见,输入SASL证书密钥。
用户名
当Kafka实例开启SASL SSL时可见,输入实例用户名。
用户密码
当Kafka实例开启SASL SSL时可见,输入实例用户密码。
- 单击“保存”,完成配置事件源。
目标端配置操作步骤
- 配置事件目标。
- 单击“事件目标”,右侧弹出“事件目标”弹窗。
- 目标服务选择“分布式消息服务 Kafka版”。
- 设置事件目标参数。
图2 分布式消息服务 Kafka版
表2 分布式消息服务 Kafka版参数说明 参数名称
说明
目标连接
选择目标连接。如果还未创建目标连接,请先创建分布式消息服务Kafka版目标连接。
Topic
选择Topic。先选目标连接以加载Topic选项。
消息Key配置
关闭
不启用消息Key。
开启
变量:从CloudEvents标准事件中获取变量值,将变量值作为Key值。
常量:将指定的常量作为key值。若选择常量,所有消息将发送至同一分区。
规则配置
类型
变量:data.value
如果需要了解更多转换类型的信息,请参考事件内容转换。
消息推送
批量推送
配置是否开启批量推送,批量推送可帮您批量聚合多个事件。
批量推送条数
推送间隔
开启批量推送可见,每次批量推送的最大聚合条数,默认值100,输入值范围1~10000。
开启批量推送可见,输入批量推送间隔,默认值1,输入值范围0~15,单位:秒。
事件目标kafka不支持自定义证书。
表3 批量推送示例 批量推送条数
推送间隔
实际发送效果
100条
1s
每隔1s批量推送100条消息
200条
5s
每隔5s批量推送500条消息
- 配置完成后,单击“确定”。
- 单击“事件流列表”操作列的“启用”,待状态列显示为“运行中”则代表整个链路创建成功。
测试验证
- 登录分布式消息服务Kafka版控制台,选择Kafka实例所在的区域。
- 在“Kafka专享版”页面,单击目标端所在Kafka实例的名称,进入实例详情页面。
- 选择“消息查询”,分别查看源端topic和目标端topic的“消息体”。
图3 目标端消息
图4 源端消息
单消息需保持大小在2M以下。
- 如消息一致,则Kafka实例间的数据同步成功。