SmartConnect迁移KAFKA实施步骤

图1 迁移流程

待迁移自建Kafka集群的信息，如集群流量情况、磁盘容量和类型、分区数量等信息
实施迁移：创建Smart Connect任务
查看迁移进度：查看自建Kafka集群迁移到云消息队列 Kafka 版的进度。
数据校验

消息队列的特点是，数据一旦被消费，则已经完成使命。本小节属于单资源迁移：如果您只需要迁移Topic、Group或消息数据

迁移前准备工作主要有以下几个方面

资源准备

表1 资源准备
产品	规格实例	说明
分布式消息服务kafka版	kafka.4u8g.cluster	/

配置网络环境

Kafka实例分内网地址以及公网地址两种网络连接方式。本次使用公网地址，消息生成与消费客户端需要有公网访问权限，并配置如下安全组。

方向	协议	端口	源地址	说明
入方向	TCP	9094	0.0.0.0/0	通过公网访问Kafka（关闭SSL加密）。
入方向	TCP	9095	0.0.0.0/0	通过公网访问Kafka（开启SSL加密）。

创建topic

在新的Kafka实例上创建与原Kafka实例相同配置的Topic，包括Topic名称、副本数、分区数、消息老化时间，以及是否同步复制和落盘等

操作步骤

步骤一：创建分布式消息kafka

登录华为云控制台

单击“服务列表”，选择“应用中间件 > 分布式消息服务kafka版”，进入“分布式消息服务kafka版”页面，如下图所：

图2 分布式消息服务kafka版

单击“购买Kafka实例”，本次实验配置如下：

图3 购买Kafka实例

步骤二：开启SmartConnect

进入分布式消息Kafka页面，单击“更多 > 开启SmartConnect”

图4 开启SmartConnect_1

图5 开启SmartConnect_2

步骤三：创建SmartConnect迁移任务

进入实例，进入SmartConnect创建页面，创建SmartConnect任务。

当前实例与对端实例网络是否打通。
对端kafka地址是否有误。
认证方式：有密码选择SASL_SSL；无密码选择PLAINTEXT。
三种同步方式
- 拉取：把对端Kafka实例数据复制到当前Kafka实例中。
- 推送：把当前Kafka实例数据复制到对端Kafka实例中。
- 双向：两端Kafka实例数据进行双向复制。
Topic：选择需要进行数据复制的Topic。
重命名：开启防止循环复制。

图6 创建SmartConnect迁移任务1

图7 创建SmartConnect迁移任务2

单击“立即创建”，跳转到Smart Connect任务列表页面，页面右上角显示“创建xxx任务成功”。

Kafka数据复制的Smart Connect任务创建成功后，Kafka实例会自动创建“mm2-offset- syncs.目标实例别名.internal”的Topic，如果Smart Connect任务开启了“同步消费进度”功能，还会自动创建“目标实例别名.checkpoints.internal”的Topic。这两个Topic用于存储内部数据，如果删除，会导致同步数据失败。

图8 创建SmartConnect迁移任务3