DCS数据迁移概述

DCS控制台界面支持在线迁移和离线迁移（备份文件导入）两种方式，其中，在线迁移支持增量数据迁移。

• 离线迁移，适用于源Redis和目标Redis网络不连通、源Redis不支持SYNC/PSYNC命令的场景。需要将数据备份文件导入到OBS，DCS从OBS桶中读取数据，将数据迁移到华为云Redis中；或直接将备份文件导入到DCS实例中。
• 在线迁移，涉及到SYNC/PSYNC命令，适用于源Redis放通了SYNC/PSYNC命令的场景。支持将源Redis中的数据全量迁移或增量迁移到目标Redis中。

  进行在线迁移时，迁移执行机会向源端地址发送PSYNC命令，其原理可参考Replication介绍，该命令会引起源端执行fork系统调用，对时延产生影响，其影响范围可参考Redis官网。

由于用户对Redis的使用环境和场景各有差异，具体的迁移方案需要用户根据实际需求完善与细化。迁移耗时也与数据量大小、源Redis部署出处、网络带宽等相关，具体耗时需要在演练过程中记录与评估。

在迁移时需要分析业务系统使用到的缓存相关命令（附：DCS命令兼容性说明参考），在演练阶段对命令逐一验证。如有需要，可联系技术支持人员。

• 当前数据迁移功能为公测免费，开始收费时间会另行通知。
• 数据迁移是一项重要且严肃的工作，准确性与时效性要求非常高，且与具体业务和操作环境相关。
• 本文提供的案例仅供参考，实际迁移应考虑具体的业务场景和需求，请勿直接套用。
• 本文提供的迁移操作，部分命令中包含了实例密码，这会导致密码记录到操作系统中，请注意保护密码不被泄露，并及时清除历史操作记录。
• DCS Redis 3.0已下线，暂停售卖，建议使用Redis 4.0及以上版本。

DCS支持的迁移能力

• DCS Redis，指的是分布式缓存服务的Redis。
• 自建Redis，指的是在云上、其他云厂商、本地数据中心自行搭建Redis。
• 其他云服务Redis，指的是其他云厂商的Redis服务。
• √表示支持，×表示不支持。

迁移流程

图1 迁移流程示意图

1. 迁移评估。
   获取当前待迁移的缓存数据信息（可参考缓存数据信息记录以下信息），包括：

   • 实例数量
   • 各实例配置的数据库数量
   • 各数据库的key数量
   • 业务用到的数据库
   • 各实例数据占用空间
   • Redis版本
   • Redis实例配置（单机/主备/集群）
   • 业务与各实例的连接关系
   根据获取到的信息规划DCS缓存实例，包括：

   • 申请缓存实例数量
   • 各缓存实例的规格、类型（单机/主备/集群）
   • 缓存实例与业务所属网络规划（VPC/子网/安全组）
   

   redis-cli -h ${redis_address} -p ${port}

   • 查看数据分布情况，确认有数据的数据库编号以及各自的key数量。

     info keyspace

     查看各DB存储的key数量，并记录下来，供迁移验证对比。

   • 查看数据占用空间，确认用于中转的ECS可用磁盘空间是否足够，实例规格与剩余可用内存是否足够。

     info memory

     参考used_memory_human的值。

2. 迁移准备。
   当完成迁移评估后，需要准备以下内容：

   1. 移动存储介质

      用于在网络不通（自建数据中心场景）的情况下以复制方式传输数据。

   2. 网络资源

      按照业务规划创建虚拟私有云与子网。

   3. 服务器资源

      申请弹性云服务器，承载Redis客户端。用于导出或导入缓存数据。

      弹性云服务器的规格建议不低于8C16G。

   4. DCS缓存实例

      按照迁移规划申请缓存实例，如果实例数量超过用户默认配额，请联系技术支持。

   5. 相关工具安装

      包括SSH工具、FTP工具、Redis迁移工具等。

   6. 信息收集

      信息收集包括参与人员联系方式，服务器地址、登录信息，缓存实例信息与数据库信息等。

   7. 整体迁移方案

      制定总体迁移计划，包括人员安排、演练方案、迁移方案、验证方案、业务切换方案、回退方案。

      每一份方案需要有细化到可执行的操作步骤，以及可标记任务结束的里程碑。

3. 迁移演练。
   迁移演练的主要目的如下：

   1. 验证迁移工具与过程的可行。
   2. 发掘迁移过程中遇到的问题，并作出有效的改进。
   3. 评估迁移耗时。
   4. 优化迁移步骤，验证部分工作并行的可行性，提高迁移效率。
4. 备份。

   在迁移前，需要先行备份，包括但不限于缓存数据、Redis配置文件，用于应急。

5. 迁移。

   在完成一到两轮的迁移演练，并根据演练过程中发现的问题进行优化后，正式开始数据迁移。

   迁移过程应该细化到每一步可执行的步骤，有明确的开始与结束确认动作。

6. 数据验证。
   数据验证可以包括以下几方面：

   • 各数据库的key分布是否与原来或者迁移预期一致
   • 关键key的检查
   • key的过期时间检查
   • 实例是否能够正常备份和恢复
7. 业务切换。
   1. 当缓存数据完成迁移，且验证无误后，业务可以正式切换缓存数据的连接，恢复对外。
   2. 如果涉及到缓存数据库编号的变化，业务还需修改编号的选择配置。
   3. 如果业务整体由数据中心或其他云厂商迁移到华为云，业务和缓存数据的迁移可并行。
8. 业务验证，验证内容包含以下：
   1. 业务应用与DCS缓存实例的连通。
   2. 通过业务操作对缓存数据的增删改查。
   3. 如果条件满足，进行压测，确认性能满足业务峰值压力。
9. 回退。

   当遇到演练中没有及时发现的问题，导致数据迁移后无法供业务使用，且短期无法解决，则涉及到业务回退。

   由于源Redis数据仍然存在，因此只需业务完成回退，重新接入源Redis实例即可。

   在完成回退后，可继续从演练甚至准备阶段重新开始，解决问题。