使用RedisShake在线迁移其他云厂商Redis
RedisShake是一款开源的Redis迁移工具,在Rump模式下,RedisShake可以以scan的方式从源端Redis获取全量数据,写入到目的端,实现数据迁移。这种迁移方式不依赖于SYNC和PSYNC,可以广泛应用于自建Redis、云Redis之间的迁移。
本文将介绍如何利用RedisShake的Rump模式,以在线全量的迁移方式,一次性将其他云厂商Redis迁移至华为云DCS中。
约束与限制
- Rump模式不支持增量数据迁移,建议您先停止源端Redis的写入再进行迁移,防止数据不一致。
- 该方案配置只支持同DB映射迁移,异DB映射迁移该方案配置不适用。
- 源端为多DB使用(有非DB0的DB使用),华为云DCS为Proxy集群时,DCS需要开启多DB模式,否则会迁移失败(单DB0的Proxy集群不支持select命令)。
- 源端为多DB使用(有非DB0的DB使用),华为云DCS为Cluster集群时,该方案不支持(DCS Cluster集群只支持DB0模式)。
- 开启了SSL的目标实例不支持数据迁移,需要关闭目标实例SSL后再进行迁移,开启或关闭SSL的操作请参考配置Redis SSL数据加密传输。
前提条件
- 已创建Redis实例。
- 已创建用于运行RedisShake的弹性云服务器(ECS),创建的ECS需要选择与Redis实例相同的VPC,并且需要绑定弹性公网IP。
迁移步骤
- 分别在华为云ECS和源端转发服务器上安装Nginx,本文以ECS操作系统为Centos7.x为例进行安装,不同操作系统命令稍有不同。
- 执行以下命令,添加Nginx到yum源。
sudo rpm -Uvh http://nginx.org/packages/centos/7/noarch/RPMS/nginx-release-centos-7-0.el7.ngx.noarch.rpm
- 添加完之后,执行以下命令,查看是否已经添加成功。
yum search nginx
- 添加成功之后,执行以下命令,安装Nginx。
sudo yum install -y nginx
- 执行以下命令安装stream模块。
yum install nginx-mod-stream --skip-broken
- 启动Nginx并设置为开机自动运行。
sudo systemctl start nginx.service sudo systemctl enable nginx.service
- 在本地浏览器中输入服务器地址(ECS公网IP地址),查看安装是否成功。
- 执行以下命令,添加Nginx到yum源。
- 在源端Redis添加源端转发服务器的白名单。
- 在源端转发服务器配置安全组。
- 获取华为云ECS的公网IP地址。
- 配置源端转发服务器安全组入方向,添加华为云ECS的公网IP地址,并放开来自华为云ECS访问请求的端口(以6379为例)。
- 配置源端转发服务器的Nginx转发配置。
- 登录Linux源端转发服务器,执行命令打开并修改配置文件。
cd /etc/nginx vi nginx.conf
- 转发配置示例如下:
stream { server { listen 6379; proxy_pass {source_instance_address}:{port}; } }
其中,6379为源端转发服务器本机监听端口,{source_instance_address}和{port}为源端Redis实例的连接地址和端口。
配置目的:通过访问源端转发服务器本机监听端口6379,访问源端Redis。
注意:以上配置必须配置在如下图所示的位置。
图2 配置位置要求
- 重启Nginx服务。
service nginx restart
- 验证启动是否成功。
netstat -an|grep 6379
端口在监听状态,Nginx启动成功。
图3 验证结果
- 登录Linux源端转发服务器,执行命令打开并修改配置文件。
- 配置华为云ECS的Nginx转发配置。
- 登录Linux华为云ECS,执行命令打开并修改配置文件。
cd /etc/nginx vi nginx.conf
- 配置示例如下:
stream { server { listen 6666; proxy_pass {source_ecs_address}:6379; } }
其中,6666为华为云ECS本机监听端口,{source_ecs_address}为源端转发服务器公网IP地址,6379为源端转发服务器Nginx的监听端口。
配置目的:通过访问华为云ECS本机监听端口6666,访问源端转发服务器。
注意:以上配置必须配置在如下图所示的位置。
图4 配置位置要求
- 重启Nginx服务。
service nginx restart
- 验证启动是否成功。
netstat -an|grep 6666
端口在监听状态,Nginx启动成功。
图5 验证结果
- 登录Linux华为云ECS,执行命令打开并修改配置文件。
- 在华为云ECS执行以下命令测试6666端口的网络连接。
redis-cli -h {target_ecs_address} -p 6666 -a {password}
其中,{target_ecs_address}为华为云ECS公网IP地址,6666为华为云ECS监听端口,{password}为源端Redis密码,如无密码可不填。
图6 连接示例
- 准备迁移工具RedisShake。
- 登录华为云ECS。
- 在华为云ECS中执行以下命令下载RedisShake,本文以下载2.0.3版本为例进行说明。您可以根据实际需要下载其他RedisShake版本。
wget https://github.com/tair-opensource/RedisShake/releases/download/release-v2.0.3-20200724/redis-shake-v2.0.3.tar.gz
- 执行命令解压RedisShake文件。
tar -xvf redis-shake-v2.0.3.tar.gz
- 配置RedisShake的配置文件。
- 执行命令启动RedisShake并使用rump(在线全量)模式开始数据迁移。
./redis-shake.linux -conf redis-shake.conf -type rump
图7 迁移过程
图8 迁移结果
- 迁移完成后,请使用redis-cli工具连接源Redis和目标Redis,确认数据的完整性。
- 分别连接源Redis和目标Redis。
连接操作请参考redis-cli连接。
- 输入info keyspace,查看keys参数和expires参数的值。
- 对比源Redis和目标Redis的keys参数分别减去expires参数的差值。如果差值一致,表示数据完整,迁移正常。
- 分别连接源Redis和目标Redis。
- 删除RedisShake配置文件。