使用Redis-shake在线迁移其他云厂商Redis

Redis-shake是一款开源的Redis迁移工具，在Rump模式下，Redis-shake可以以scan的方式从源端Redis获取全量数据，写入到目的端，实现数据迁移。这种迁移方式不依赖于SYNC和PSYNC，可以广泛应用于自建Redis、云Redis之间的迁移。

本文将介绍如何利用Redis-shake的Rump模式，以在线全量的迁移方式，一次性将其他云厂商Redis迁移至华为云DCS中。

图1 本方案数据流向示意图

前提条件

已在华为云创建Redis实例。
已在华为云创建用于运行Redis-shake的弹性云服务器(ECS)。
创建的ECS需要选择与Redis实例相同的VPC，并且需要绑定弹性公网IP。
Rump模式不支持增量数据迁移，建议您先停止源端Redis的写入再进行迁移，防止数据不一致。
该方案配置只支持同DB映射迁移，异DB映射迁移该方案配置不适用。
源端为多DB使用（有非DB0的DB使用），华为云DCS为Proxy集群时，DCS需要开启多DB模式，否则会迁移失败（单DB0的Proxy集群不支持select命令）。
源端为多DB使用（有非DB0的DB使用），华为云DCS为Cluster集群时，该方案不支持（DCS Cluster集群只支持DB0模式）。

操作步骤

分别在华为云ECS和源端转发服务器上安装Nginx，本文以ECS操作系统为Centos7.x为例进行安装，不同操作系统命令稍有不同。
1. 执行以下命令，添加Nginx到yum源。
```
sudo rpm -Uvh http://nginx.org/packages/centos/7/noarch/RPMS/nginx-release-centos-7-0.el7.ngx.noarch.rpm
```
2. 添加完之后，执行以下命令，查看是否已经添加成功。
```
yum search nginx
```
3. 添加成功之后，执行以下命令，安装Nginx。
```
sudo yum install -y nginx
```
4. 执行以下命令安装stream模块。
```
yum install nginx-mod-stream --skip-broken
```
5. 启动Nginx并设置为开机自动运行。
```
sudo systemctl start nginx.service
sudo systemctl enable nginx.service
```
6. 在本地浏览器中输入服务器地址（ECS公网IP地址），查看安装是否成功。
  如果出现下面页面，则表示安装成功。
在源端Redis添加源端转发服务器的白名单。
在源端转发服务器配置安全组。
1. 获取华为云ECS的公网IP地址。
2. 配置源端转发服务器安全组入方向，添加华为云ECS的公网IP地址，并放开来自华为云ECS访问请求的端口（以6379为例）。
配置源端转发服务器的Nginx转发配置。
1. 登录Linux源端转发服务器，执行命令打开并修改配置文件。
```
cd /etc/nginx
vi nginx.conf
```
2. 转发配置示例如下：
```
stream {
    server {
        listen 6379;
        proxy_pass {source_instance_address}:{port};
    }
   }
```
  其中，6379为源端转发服务器本机监听端口，{source_instance_address}和{port}为源端Redis实例的连接地址和端口。
  
  配置目的：通过访问源端转发服务器本机监听端口6379，访问源端Redis。
  
  注意：以上配置必须配置在如下图所示的位置。
  
  图2 配置位置要求
3. 重启Nginx服务。
```
service nginx restart
```
4. 验证启动是否成功。
```
netstat -an|grep 6379
```
  端口在监听状态，Nginx启动成功。
  
  图3 验证结果
配置华为云ECS的Nginx转发配置。
1. 登录Linux华为云ECS，执行命令打开并修改配置文件。
  cd /etc/nginx
  
  vi nginx.conf
2. 配置示例如下：
```
stream {
    server {
        listen 6666;
        proxy_pass {source_ecs_address}:6379;
    }
   }
```
  其中，6666为华为云ECS本机监听端口，{source_ecs_address}为源端转发服务器公网IP地址，6379为源端转发服务器Nginx的监听端口。
  
  配置目的：通过访问华为云ECS本机监听端口6666，访问源端转发服务器。
  
  注意：以上配置必须配置在如下图所示的位置。
  
  图4 配置位置要求
3. 重启Nginx服务。
```
service nginx restart
```
4. 验证启动是否成功。
```
netstat -an|grep 6666
```
  端口在监听状态，Nginx启动成功。
  
  图5 验证结果
在华为云ECS执行以下命令测试6666端口的网络连接。
```
redis-cli -h {target_ecs_address} -p 6666 -a {password}
```
其中，{target_ecs_address}为华为云ECS公网IP地址，6666为华为云ECS监听端口，{password}为源端Redis密码，如无密码可不填。

图6 连接示例
准备迁移工具Redis-shake。
1. 登录华为云ECS。
2. 在华为云ECS中执行以下命令下载Redis-shake，本文以下载2.0.3版本为例进行说明。您可以根据实际需要下载其他Redis-Shake版本。
```
wget https://github.com/tair-opensource/RedisShake/releases/download/release-v2.0.3-20200724/redis-shake-v2.0.3.tar.gz
```
3. 执行命令解压Redis-shake文件。
```
tar -xvf redis-shake-v2.0.3.tar.gz
```
配置Redis-shake的配置文件。
1. 执行命令进入解压后的目录。
```
cd redis-shake-v2.0.3
```
2. 修改配置文件redis-shake.conf。
```
vim redis-shake.conf
```
  修改源端Redis信息配置：
  - source.type
    源端redis实例类型，单机、主备、proxy集群实例都选择standalone，cluster实例选择cluster。
  - source.address
    华为云ECS公网IP地址和映射源端转发服务器的端口(华为云ECS监听端口6666)，用英文冒号隔开。
  - source.password_raw
    源端待迁移Redis实例的密码，如未设置密码，无需填写。
  修改目标端DCS信息配置：
  - target.type
    华为云Redis实例类型，单机、主备、proxy集群实例都选择standalone，cluster实例选择cluster。
  - target.address
    华为云Redis实例的连接地址和端口，用英文冒号隔开。
  - target.password_raw
    华为云Redis实例的密码，如未设置密码，无需填写。
3. 按下Esc键退出编辑模式，输入:wq！按回车键保存配置并退出编辑界面。
执行命令启动Redis-shake并使用rump（在线全量）模式开始数据迁移。
```
./redis-shake.linux -conf redis-shake.conf -type rump
```
图7 迁移过程

图8 迁移结果
迁移完成后，请使用redis-cli工具连接源Redis和目标Redis，确认数据的完整性。
1. 分别连接源Redis和目标Redis。
  连接操作请参考redis-cli连接。
2. 输入info keyspace，查看keys参数和expires参数的值。
3. 对比源Redis和目标Redis的keys参数分别减去expires参数的差值。如果差值一致，表示数据完整，迁移正常。
删除Redis-shake配置文件。