RocketMQ同步RocketMQ
约束与限制
- RocketMQ同步事件流当前仅支持同步普通消息和顺序消息。若您配置Topic的消息类型是其它类型时,则该消息类型的Topic消息将不会被同步。
- 源端选择“RocketMQ实例”场景:
- 源RocketMQ和目标RocketMQ仅支持DMS服务RocketMQ实例,实例版本需保持一致,目前支持版本为4.8.0、5.x。
- 目标RocketMQ实例和源RocketMQ的代理数量、代理规格、存储空间需保持一致。
- 目标RocketMQ和源RocketMQ实例的实例类型(如单机、集群架构)需保持一致。
- 源端选择“RocketMQ地址”场景:
- 源端RocketMQ需要支持集群信息查询命令、topic列表查询命令,否则会导致在线同步失败。
- 目标RocketMQ仅支持DMS服务RocketMQ实例,目前支持版本为4.8.0、5.x;源端RocketMQ支持4.8.0、5.x版本的DMS服务RocketMQ,或支持兼容开源4.x、5.x版本的云厂商/自建RocketMQ。
- 目标RocketMQ实例和源RocketMQ的代理数量需保持一致,目标RocketMQ实例代理规格、队列数、存储空间需不低于源RocketMQ。
前提条件
- 已准备好源RocketMQ和目标RocketMQ。
- 确保VPC、子网,以及源端和目标端RocketMQ topic队列、存储空间等资源充足。
- 确保源端和目标端实例与用户创建事件流集群时选择的VPC网络互通。
操作步骤
- 登录事件网格控制台。
- 在左侧导航栏选择“事件流>专业版事件流作业”,进入“专业版事件流作业”页面。
- 右上角单击“创建作业”,进入“基础配置”。
- 配置“基本配置”信息,以下内容将以非白名单账号举例介绍。
表1 作业基本配置参数说明 参数
说明
集群
选择已创建的集群,如未创建,请参见专业版事件流集群。
作业名称
请输入作业名称。
场景类型
默认选择“同步”场景。
实现数据源之间的数据实时同步。
描述
请输入对本作业的描述。
- 单击“下一步:源和目标对象配置”,进入“源和目标对象配置”页面。
表2 源数据和目标数据配置参数说明 参数
说明
配置类型
选择配置类型,源数据端可选择“RocketMQ实例”和“RocketMQ地址”。目标数据端默认为“RocketMQ实例”。
实例别名
请输入实例别名。
用于标识源端和目标端实例,建议同一个源端或目标端实例只设置一个别名。
区域
请选择资源所在区域。
项目
请选择项目。
Rocketmq实例
请选择Rocketmq实例。
用户名
请输入用户名。
密钥
请输入密钥。
NameServer地址
当“配置类型”选择“RocketMQ地址”时,源数据端需配置。
输入NameServer地址。
Broker地址
当“配置类型”选择“RocketMQ地址”时,源数据端需配置。
在输入NameServer地址之后,支持单击“自动获取”获取Broker地址,需要源端支持集群信息查询命令,如果自动获取失败,请手动输入Broker地址。
SSL
当“配置类型”选择“RocketMQ地址”时,源数据端需配置。
是否开启SSL。
ACL访问控制
当“配置类型”选择“RocketMQ地址”时,源数据端需配置。
是否开启ACL访问控制。
- 单击“测试连通性”按钮确认源端、目标端实例连通性通过之后,单击“下一步:高级配置”,进入“高级配置”页面。
图1 高级配置
表3 作业对象配置参数说明 参数
说明
Topic匹配类型
源数据端配置为“RocketMQ实例”时,选择“正则匹配”或“精确匹配”。
源数据端配置为“RocketMQ地址”时,选择“正则匹配”或“输入”。
说明:- 当选择“正则匹配”时需在下方输入“Topic正则”。示例:.* 表示匹配所有Topic,topic.* 表示匹配所有以topic为前缀的Topic。
- 当选择“精确匹配”时需选择“Topics”。
- 当选择“输入”时需输入“Topics”。
同步消费进度
请选择是否打开。
说明:开启时表示将消息消费进度同步到目标Rocketmq。
启动偏移量
请选择为“最早”、“最新”或“自定义”。
压缩算法
请选择压缩算法为“none”、“lz4”、“zstd”或“zlib”。
- 单击“下一步:预检查”,进入“预检查”页面,完成后单击“完成配置”。
- 返回专业版事件流作业列表,单击刚才创建的事件流名称,进入“基本信息”页面,选择“作业管理”,可以查看“同步进展详情”。
表4 参数说明 参数名称
说明
Topic名称
创建RocketMQ实例时的Topic。
队列数
创建Topic时设置的队列个数。
待同步数
当前Topic队列数中未同步的消息数量。