创建事件路由
事件路由概述
事件路由基于SmartConnect实现能力同步数据的同步。
前提条件
- 业务有自己的源kafka和目标kafka。
- 需要给EG授权,第一次进入EG时,会自动为用户创建名为EG_EVENT_ROUTER_AGENCY的授权。
- 确保vpc、子网、kafka等资源充足。
- 需要申请白名单(公测期间)。
操作步骤
- 登录事件网格控制台。
- 在左侧导航栏选择“事件路由”,进入“事件路由”页面。
图1 事件路由页面
- 单击“创建事件路由任务”,进入创建详情页。
- 配置“任务基本配置”。
图2 任务基本配置
表1 任务基本配置参数说明 参数
说明
任务名称
请输入任务名称
描述
请输入对本任务的描述。
- 配置“源端和目标端配置”。
当源端和目标端均为Kafka时:
图3 源端和目标端配置
- 源端类型:Kafka
- 目标端类型:Kafka
- 规格(QPS):选择为2000、5000、9000、15000或>20000。
表2 源端目标端配置参数说明 参数
说明
配置类型
请选择“Kafka地址”或“实例名称”。
选择为“Kafka地址”类型时,请配置以下参数:
Kafka地址
请输入Kafka地址。
说明:支持配置多个地址以逗号分隔,例如:192.168.0.1:111,192.168.0.2:222。
虚拟私有云
请选择虚拟私有云。
子网
请选择子网。
安全协议
请选择安全协议为“SASL_SSL”、“SASL_PLAINTEXT”或“PLAINTEXT”。
认证机制
请选择认证机制为“SCRAM-SHA-512”或“PLAIN”。
用户名
请输入用户名。
密码
请输入密码。
选择为“实例名称”类型时,请配置以下参数:
实例名称
请选择Kafka实例。
接入方式
请选择“密文接入”或“明文接入”。
安全协议
默认为“SASL_SSL”。
认证机制
请选择认证机制为“SCRAM-SHA-512”或“PLAIN”。
用户名
请输入用户名。
密码
请输入密码。
- 配置“任务对象配置”。
图4 任务对象配置
表3 任务对象配置参数说明 参数
说明
Topics
选择“正则表达式”或“输入/选择”。
说明:当选择“正则表达式”时需在下方输入表达式。
同步消费进度
请选择是否打开。
说明:- 打开后会将消息消费进度同步到目标Kafka。
- 当前同步的进度有100以内的误差。
副本数
请配置副本数。
说明:自动创建的Topic副本数,不能超过目标端Kafka的Broker数量。
启动偏移量
请选择为“最早”或“最新”。
压缩算法
请选择压缩算法为“none”、“gzip”、“snappy”、“lz4”或“zstd”。
Topic映射
请输入要映射的源端Topic和目标端Topic名称,单击“保存”。
说明:- 如果源端和目标端的kafka是同一个实例,则建议配置topic映射,否则可能导致topic中的数据出现循环复制。
- Topic映射的名称不能相同。
- 完成参数配置后单击“立即购买”,完成事件路由创建,创建成功后可在事件路由页面查看任务状态。
- 事件路由任务创建完成后默认为“未启用”状态,需要单击“启用”按钮,待状态显示为“运行中”时,任务正式启用。
图5 启用事件路由
- 事件路由公测期间免费。
- 如果源端kafka和目标端kafka在不同vpc里,但是他们的broker地址存在重叠,这种情况任务也会失败,规避方式是让用户用一个新的vpc打通其中一个kafka的网络,保障源端和目标端的地址不重叠。
- 创建任务成功后,会生成mm2开头的Topic,此为运行任务资源所需,请勿删除,若删除此任务后,则Topic可删除。