Kafka同步Kafka

前提条件

• 业务有自己的源Kafka和目标Kafka。
• 源Kafka和目标Kafka实例支持的版本：目前支持2.7及以上，后续支持版本会持续更新。
• 源Kafka和目标Kafka实例的规格、存储空间需保持一致。
• 确保vpc、子网、kafka等资源充足。
• 确保源端和目标端实例与用户创建事件流集群时选择的VPC网络互通。
  

  创建VPC和子网的操作指导请参考创建虚拟私有云和子网。

操作步骤

1. 登录事件网格控制台。
2. 在左侧导航栏选择“事件流＞专享版事件流作业”，进入“专享版事件流作业”页面。
   图1 专享版事件流作业页面
   

3. 右上角单击“创建作业”，进入“基础配置”。
4. 配置“基本配置”信息。
   图2 基本配置
   

   表1 作业基本配置参数说明

   参数	说明
   集群	选择已创建的集群，如未创建，请参见专享版事件流集群。
   作业名称	请输入作业名称。
   场景类型	当前默认为同步。
   描述	请输入对本作业的描述。

5. 单击“下一步：源和目标对象配置”，进入“源和目标对象配置”页面。
   “源数据”和“目标数据”中选择好Kafka实例后，单击“测试连通性”，检查通过后，进入步骤6。

   图3 源数据和目标数据配置
   

   表2 源数据和目标数据配置参数说明

   参数	说明
   配置类型	默认为“Kafka实例”。 说明： 配置类型根据实例类型变更。
   实例别名	请输入实例别名。 说明： 用于标识源端和目标端实例，建议同一个源端或目标端实例只设置一个别名。
   区域	请选择资源所在区域。
   项目	请选择项目。
   Kafka实例	请选择Kafka实例。
   接入方式	支持“明文接入”或“密文接入”。
   安全协议	当选择明文接入时，安全协议为“PLAINTEXT”。 当选择“密文接入”时，安全协议可选择“SASL_SSL”或“SASL_PLAINTEXT”；认证机制可选择“SCRAM-SHA-512”或“PLAIN”。
   用户名	请输入用户名。 说明： 当接入方式选择“密文接入”时需配置。
   密码	请输入密码。 说明： 当接入方式选择“密文接入”时需配置。

6. 单击“下一步：高级配置”，进入“高级配置”页面。
   图4 高级配置
   

   表3 作业对象配置参数说明

   参数	说明
   Topic匹配类型	选择“正则匹配”或“精确匹配”。 说明： 当选择“正则匹配”时需在下方输入“Topic正则”。示例：.* 表示匹配所有Topic，topic.* 表示匹配所有以topic为前缀的Topic。 当选择“精确匹配”时需选择“Topics”。
   副本数	请配置副本数。 说明： 自动创建的Topic副本数，不能超过目标端Kafka的Broker数量。
   同步消费进度	请选择是否打开。 说明： 开启时表示将消息消费进度同步到目标Kafka。
   启动偏移量	请选择为“最早”或“最新”。
   压缩算法	请选择压缩算法为“none”、“gzip”、“snappy”、“lz4”或“zstd”。

7. 单击“下一步：预检查”，进入“预检查”页面，完成后单击“完成配置”。
   图5 预检查
   

8. 返回专享版事件流作业列表，单击刚才创建的事件流名称，进入“基本信息”页面，选择“作业管理”，可以查看“同步进展详情”。
   图6 Kafka事件流同步进展详情
   

   表4 参数说明

   参数名称	说明
   Topic名称	创建Kafka实例时的Topic。
   分区数	创建Topic时设置的分区数，分区数越大消费的并发度越大。
   待同步数	当前Topic分区数中未同步的消息数量。

   

   同步速率：当前作业同步消息时的速率，单击“限流”可跳转至源端Kafka实例的“流控列表”页面，用户可通过配置流控进而实现限流目的。