更新时间:2024-08-09 GMT+08:00

创建事件路由

事件路由概述

事件路由基于SmartConnect实现能力同步数据的同步。

前提条件

  • 业务有自己的源kafka和目标kafka。
  • 需要给EG授权,第一次进入EG时,会自动为用户创建名为EG_EVENT_ROUTER_AGENCY的授权。
  • 确保vpc、子网、kafka等资源充足。
  • 需要申请白名单(公测期间)。

操作步骤

  1. 登录事件网格控制台。
  2. 在左侧导航栏选择“事件路由”,进入“事件路由”页面。

    图1 事件路由页面

  3. 单击“创建事件路由任务”,进入创建详情页。
  4. 配置“任务基本配置”。

    图2 任务基本配置
    表1 任务基本配置参数说明

    参数

    说明

    任务名称

    请输入任务名称

    描述

    请输入对本任务的描述。

  5. 配置“源端和目标端配置”。

    当源端和目标端均为Kafka时:

    图3 源端和目标端配置
    • 源端类型:Kafka
    • 目标端类型:Kafka
    • 规格(QPS):选择为2000、5000、9000、15000或>20000。
      表2 源端目标端配置参数说明

      参数

      说明

      配置类型

      请选择“Kafka地址”或“实例名称”。

      选择为“Kafka地址”类型时,请配置以下参数:

      Kafka地址

      请输入Kafka地址。

      说明:

      支持配置多个地址以逗号分隔,例如:192.168.0.1:111,192.168.0.2:222。

      虚拟私有云

      请选择虚拟私有云。

      子网

      请选择子网。

      安全协议

      请选择安全协议为“SASL_SSL”、“SASL_PLAINTEXT”或“PLAINTEXT”。

      认证机制

      请选择认证机制为“SCRAM-SHA-512”或“PLAIN”。

      用户名

      请输入用户名。

      密码

      请输入密码。

      选择为“实例名称”类型时,请配置以下参数:

      实例名称

      请选择Kafka实例。

      接入方式

      请选择“密文接入”或“明文接入”。

      安全协议

      默认为“SASL_SSL”。

      认证机制

      请选择认证机制为“SCRAM-SHA-512”或“PLAIN”。

      用户名

      请输入用户名。

      密码

      请输入密码。

  6. 配置“任务对象配置”。

    图4 任务对象配置
    表3 任务对象配置参数说明

    参数

    说明

    Topics

    选择“正则表达式”或“输入/选择”。

    说明:

    当选择“正则表达式”时需在下方输入表达式。

    同步消费进度

    请选择是否打开。

    说明:
    • 打开后会将消息消费进度同步到目标Kafka。
    • 当前同步的进度有100以内的误差。

    副本数

    请配置副本数。

    说明:

    自动创建的Topic副本数,不能超过目标端Kafka的Broker数量。

    启动偏移量

    请选择为“最早”或“最新”。

    压缩算法

    请选择压缩算法为“none”、“gzip”、“snappy”、“lz4”或“zstd”。

    Topic映射

    请输入要映射的源端Topic和目标端Topic名称,单击“保存”。

    说明:
    • 如果源端和目标端的kafka是同一个实例,则建议配置topic映射,否则可能导致topic中的数据出现循环复制。
    • Topic映射的名称不能相同。

  7. 完成参数配置后单击“立即购买”,完成事件路由创建,创建成功后可在事件路由页面查看任务状态。
  8. 事件路由任务创建完成后默认为“未启用”状态,需要单击“启用”按钮,待状态显示为“运行中”时,任务正式启用。

    图5 启用事件路由
    • 事件路由公测期间免费。
    • 如果源端kafka和目标端kafka在不同vpc里,但是他们的broker地址存在重叠,这种情况任务也会失败,规避方式是让用户用一个新的vpc打通其中一个kafka的网络,保障源端和目标端的地址不重叠。
    • 创建任务成功后,会生成mm2开头的Topic,此为运行任务资源所需,请勿删除,若删除此任务后,则Topic可删除。