迁移其他厂商或自建RocketMQ实例的元数据

操作场景

本章节指导您迁移其他厂商或自建RocketMQ实例的元数据到云上RocketMQ实例。

主要提供以下两种迁移方法，请根据实际情况选择：

• 方法一：通过mqadmin命令导出源实例的元数据，然后在云上RocketMQ实例中创建迁移任务
• 方法二：导出源实例的Topic和消费组列表，然后通过脚本将Topic和消费组列表导入到云上RocketMQ实例中（适用于不支持通过mqadmin命令导出元数据的场景）

前提条件

• 已创建RocketMQ实例。
• 准备一台Linux系统的主机，在主机中安装Java Development Kit 1.8.111或以上版本，并完成环境变量配置。

方法一：通过mqadmin命令导出源实例的元数据，然后在云上RocketMQ实例中创建迁移任务

获取其他厂商或自建RocketMQ实例的元数据

1. 登录主机，下载RocketMQ软件包。

   wget https://archive.apache.org/dist/rocketmq/4.9.4/rocketmq-all-4.9.4-bin-release.zip

2. 解压软件包。

   unzip rocketmq-all-4.9.4-bin-release.zip

3. （可选）如果RocketMQ实例开启了ACL访问控制，执行mqadmin命令时，需要鉴权。
   切换到解压后的软件包目录下，在“conf/tools.yml”文件中，增加如下内容。

   accessKey:*******
   secretKey:*******

   accessKey和secretKey表示在控制台“用户管理”页面，创建的用户名和密钥。

4. 进入解压后的软件包目录下，执行以下命令，查询集群名称。

   sh ./bin/mqadmin clusterList -n {nameserver地址及端口号}

   例如：“nameserver地址及端口号”为“192.168.0.65:8100”。

   sh ./bin/mqadmin clusterList -n 192.168.0.65:8100

5. 执行以下命令，导出元数据。
   • 未开启SSL的实例，执行以下命令。

     sh ./bin/mqadmin exportMetadata -n {nameserver地址及端口号} -c {RocketMQ集群名称} -f {导出的元数据文件的存放路径}

     例如：“nameserver地址及端口号”为“192.168.0.65:8100”，“RocketMQ集群名称”为“DmsCluster”，“导出的元数据文件的存放路径”为“/tmp/rocketmq/export”。

     sh ./bin/mqadmin exportMetadata -n 192.168.0.65:8100 -c DmsCluster -f /tmp/rocketmq/export

   • 已开启SSL的实例，执行以下命令。

     JAVA_OPT=-Dtls.enable=true sh ./bin/mqadmin exportMetadata -n {nameserver地址及端口号} -c {RocketMQ集群名称} -f {导出的元数据文件的存放路径}

     例如：“nameserver地址及端口号”为“192.168.0.65:8100”，“RocketMQ集群名称”为“DmsCluster”，“导出的元数据文件的存放路径”为“/tmp/rocketmq/export”。

     JAVA_OPT=-Dtls.enable=true sh ./bin/mqadmin exportMetadata -n 192.168.0.65:8100 -c DmsCluster -f /tmp/rocketmq/export

在控制台迁移元数据

1. 登录管理控制台。
2. 在管理控制台左上角单击，选择区域。
   

   请选择RocketMQ实例所在的区域。

3. 在管理控制台左上角单击，选择“应用服务 > 分布式消息服务RocketMQ版”，进入分布式消息服务RocketMQ专享版页面。
4. 单击RocketMQ实例的名称，进入实例详情页面。
5. 在左侧导航栏，选择“元数据迁移”，进入迁移任务列表页面。
6. 单击“创建迁移任务”，弹出“创建迁移任务”对话框。
7. 参考表1，设置迁移任务的参数。

   表1 迁移任务参数说明

   参数	说明
   任务类型	选择“自建RocketMQ上云”
   任务名称	您可以自定义迁移任务的名称，用于区分不同的迁移任务。
   是否同名覆盖	如果开启同名覆盖，会对已有的同名元数据的配置进行修改。 例如：原实例Topic01的读队列个数为3，云上实例Topic01的读队列个数为2，开启同名覆盖后，云上实例Topic01的读队列个数变为3。 如果不开启同名覆盖，同名元数据的迁移将失败。 例如：原实例的Topic包含Topic01和Topic02，云上实例的Topic包含Topic01和Topic03，不开启同名覆盖，原实例Topic01的迁移将失败。
   元数据	上传其他厂商或自建RocketMQ实例的元数据。

8. 单击“确定”。

   迁移完成后，在迁移任务列表页面查看“任务状态”。

   • 当“任务状态”为“迁移完成”，表示所有元数据都已成功迁移。
   • 当“任务状态”为“迁移失败”，表示元数据中部分或全部元数据迁移失败。单击迁移任务名称，进入迁移任务详情页，在“迁移结果”中查看迁移失败的Topic/消费组名称，以及失败原因。
     图1 迁移结果
     

方法二：导出源实例的Topic和消费组列表，然后通过脚本将Topic和消费组列表导入到云上RocketMQ实例中

1. 登录其他厂商控制台，导出源实例的Topic和消费组列表。
2. 将Topic和消费组列表分别放入“topics.txt”和“groups.txt”中，格式为每行一个Topic名称/消费组名称，例如：

   topic-01
   topic-02
   ...
   topic-n

   注意：在“groups.txt”中不能存在空行（例如在消费组名称后多增加了一个换行符），否则导入云上RocketMQ实例时，会多创建名称为空的消费组。

3. 登录主机，下载RocketMQ软件包。

   wget https://archive.apache.org/dist/rocketmq/4.9.4/rocketmq-all-4.9.4-bin-release.zip

4. 解压软件包。

   unzip rocketmq-all-4.9.4-bin-release.zip

5. （可选）如果RocketMQ实例开启了ACL访问控制，执行mqadmin命令时，需要鉴权。
   切换到解压后的软件包目录下，在“conf/tools.yml”文件中，增加如下内容。

   accessKey:*******
   secretKey:*******

   accessKey和secretKey表示在控制台“用户管理”页面，创建的用户名和密钥。

6. 进入解压后软件包的bin目录下，将“topics.txt”和“groups.txt”上传到此目录中。
7. 执行以下脚本，将Topic和消费组列表导入到云上RocketMQ实例中。

   #!/bin/bash
   
   # Read groups from groups.txt file
   groups=()
   while read -r group; do
     groups+=("$group")
   done < "groups.txt"
   
   # Read topics from topic.txt file
   topics=()
   while read -r topic; do
     topics+=("$topic")
   done < "topics.txt"
   
   # Add topics
   for topic in "${topics[@]}"; do
     echo "Adding topic: $topic"
     sh mqadmin updateTopic -n <namesrvIp:8100> -c DmsCluster -t "$topic"
   done
   
   # Add consumer groups
   for group in "${groups[@]}"; do
     echo "Adding consumer group: $group"
     sh mqadmin updateSubGroup -n <namesrvIp:8100> -c DmsCluster -g "$group"
   done

   其中“namesrvIp:8100”为云上RocketMQ实例的连接地址。

8. 登录RocketMQ控制台，分别进入“Topic管理”和“消费组管理”页面，查看Topic和消费组列表是否成功导入。