分布式缓存服务 DCS
分布式缓存服务 DCS
- 最新动态
- 功能总览
- 服务公告
- 产品介绍
- 计费说明
- 快速入门
- 用户指南
- 最佳实践
- API参考
- SDK参考
-
常见问题
- 实例类型/版本
- 实例特性
- 安全性
-
客户端和网络连接
- DCS实例支持公网访问吗?
- Redis连接失败问题排查和解决
- DCS实例是否支持跨VPC访问?
- Redis公网访问所需弹性IP是否收费?
- Redis连接时报错:“(error) NOAUTH Authentication required”。
- 客户Http的Server端关闭导致Redis访问失败
- 客户端出现概率性超时错误
- 使用Jedis连接池报错如何处理?
- 如何使用Redis-desktop-manager访问Redis实例?
- 使用SpringCloud时出现ERR Unsupported CONFIG subcommand怎么办?
- 客户端无法使用域名连接DCS缓存实例时如何处理?
- 本地环境是否可以连接缓存实例?
- 使用Redis实例的发布订阅(pubsub)有哪些注意事项?
- Redis 3.0实例公网开关被关闭是什么原因?
- 使用短连接访问Redis出现“Cannot assign requested address”错误
- 连接池选择及Jedis连接池参数配置建议
- 如何解决Lettuce 6.x版本客户端使用DCS实例兼容性问题?
- 应该选择域名还是IP地址连接Redis实例?
- 主备实例的只读地址是连接到主节点还是备节点?
-
Redis使用
- 是否支持CPU架构的变更?
- 实例是否支持变更可用区
- Redis实例能否修改VPC和子网?
- 实例是否支持自定义或修改端口?
- 实例是否支持修改访问地址?
- 实例无法删除是什么原因?
- 集群实例启动时间过长是什么原因?
- 使用redis_exporter出错怎么办?
- 什么是预留内存,如何配置预留内存?
- 创建的缓存实例为什么可使用内存比实例规格少一些?
- Redis 3.0 Proxy集群不支持redisson分布式锁的原因
- DCS Redis有没有后台管理软件?
- DCS缓存实例的数据被删除后,能否找回?
- 为什么实例实际可用内存比申请规格小而且已使用内存不为0?
- 如何查看Redis内存占用量
- Cluster集群实例容量和性能未达到瓶颈,但某个分片容量或性能已过载是什么原因?
- 访问Redis报OOM错误提示
- 不同编程语言如何使用Cluster集群客户端
- 使用Cluster的Redis集群时建议配置合理的超时时间
- 读取redis数据报超时错误
- hashtag的原理、规则及用法示例
- Redis key丢失是什么原因
- 重启实例后缓存数据会保留吗?
- 如何确认实例是单DB还是多DB
- Proxy集群开启多DB的使用限制及操作方式
- 如何创建多DB的Proxy集群实例?
- 扩容缩容与实例升级
-
数据备份/导出/迁移
- DCS实例是否兼容低版本Redis迁移到高版本
- 不同类型的操作系统间进行数据传递和操作,需要注意什么?
- 源Redis使用了多DB,能否迁移数据到集群实例?
- 源Redis迁移到集群实例中有哪些限制和注意事项?
- 在线迁移需要注意哪些?
- 在线迁移能否做到完全不中断业务?
- 在线迁移实例源端报“Disconnecting timedout slave”和“overcoming of output buffer limits”
- 如何导出Redis实例数据?
- 使用Rump工具迁移数据,命令执行后无报错,但Redis容量无变化
- 是否支持控制台导出RDB格式的Redis备份文件?
- 缓存实例备份文件如何存放?备份文件的数量是否有限制?
- Redis在线数据迁移是迁移整个实例数据么?
- AOF文件在什么情况下会被重写
- Redis迁移失败有哪些常见原因?
- 一个数据迁移能迁移到多个目标实例么?
- 怎么放通SYNC和PSYNC命令?
- 迁移或导入备份数据时,相同的Key会被覆盖吗?
- Cluster集群实例使用内置key且跨slot的Lua脚本时迁移失败
- 迁移故障处理
- 数据迁移失败问题排查
- Memcached如何迁移?
- 是否支持Memcached和Redis之间实例数据的迁移?
- 大Key/热Key分析/过期Key扫描
- Redis命令
- 监控告警
- 主备倒换
- 创建实例和权限
- Memcached使用
- 故障排除
- 视频帮助
- 文档下载
- 通用参考
链接复制成功!
使用RedisShake在线迁移其他云厂商Redis
RedisShake是一款开源的Redis迁移工具,在Rump模式下,RedisShake可以以scan的方式从源端Redis获取全量数据,写入到目的端,实现数据迁移。这种迁移方式不依赖于SYNC和PSYNC,可以广泛应用于自建Redis、云Redis之间的迁移。
本文将介绍如何利用RedisShake的Rump模式,以在线全量的迁移方式,一次性将其他云厂商Redis迁移至华为云DCS中。
图1 本方案数据流向示意图

约束与限制
- Rump模式不支持增量数据迁移,建议您先停止源端Redis的写入再进行迁移,防止数据不一致。
- 该方案配置只支持同DB映射迁移,异DB映射迁移该方案配置不适用。
- 源端为多DB使用(有非DB0的DB使用),华为云DCS为Proxy集群时,DCS需要开启多DB模式,否则会迁移失败(单DB0的Proxy集群不支持select命令)。
- 源端为多DB使用(有非DB0的DB使用),华为云DCS为Cluster集群时,该方案不支持(DCS Cluster集群只支持DB0模式)。
- 开启了SSL的目标实例不支持数据迁移,需要关闭目标实例SSL后再进行迁移,开启或关闭SSL的操作请参考配置Redis SSL数据加密传输。
前提条件
- 已创建Redis实例。
- 已创建用于运行RedisShake的弹性云服务器(ECS),创建的ECS需要选择与Redis实例相同的VPC,并且需要绑定弹性公网IP。
迁移步骤
- 分别在华为云ECS和源端转发服务器上安装Nginx,本文以ECS操作系统为Centos7.x为例进行安装,不同操作系统命令稍有不同。
- 执行以下命令,添加Nginx到yum源。
sudo rpm -Uvh http://nginx.org/packages/centos/7/noarch/RPMS/nginx-release-centos-7-0.el7.ngx.noarch.rpm
- 添加完之后,执行以下命令,查看是否已经添加成功。
yum search nginx
- 添加成功之后,执行以下命令,安装Nginx。
sudo yum install -y nginx
- 执行以下命令安装stream模块。
yum install nginx-mod-stream --skip-broken
- 启动Nginx并设置为开机自动运行。
sudo systemctl start nginx.service sudo systemctl enable nginx.service
- 在本地浏览器中输入服务器地址(ECS公网IP地址),查看安装是否成功。
- 执行以下命令,添加Nginx到yum源。
- 在源端Redis添加源端转发服务器的白名单。
- 在源端转发服务器配置安全组。
- 获取华为云ECS的公网IP地址。
- 配置源端转发服务器安全组入方向,添加华为云ECS的公网IP地址,并放开来自华为云ECS访问请求的端口(以6379为例)。
- 配置源端转发服务器的Nginx转发配置。
- 登录Linux源端转发服务器,执行命令打开并修改配置文件。
cd /etc/nginx vi nginx.conf
- 转发配置示例如下:
stream { server { listen 6379; proxy_pass {source_instance_address}:{port}; } }
其中,6379为源端转发服务器本机监听端口,{source_instance_address}和{port}为源端Redis实例的连接地址和端口。
配置目的:通过访问源端转发服务器本机监听端口6379,访问源端Redis。
注意:以上配置必须配置在如下图所示的位置。
图2 配置位置要求 - 重启Nginx服务。
service nginx restart
- 验证启动是否成功。
netstat -an|grep 6379
端口在监听状态,Nginx启动成功。
图3 验证结果
- 登录Linux源端转发服务器,执行命令打开并修改配置文件。
- 配置华为云ECS的Nginx转发配置。
- 登录Linux华为云ECS,执行命令打开并修改配置文件。
cd /etc/nginx vi nginx.conf
- 配置示例如下:
stream { server { listen 6666; proxy_pass {source_ecs_address}:6379; } }
其中,6666为华为云ECS本机监听端口,{source_ecs_address}为源端转发服务器公网IP地址,6379为源端转发服务器Nginx的监听端口。
配置目的:通过访问华为云ECS本机监听端口6666,访问源端转发服务器。
注意:以上配置必须配置在如下图所示的位置。
图4 配置位置要求 - 重启Nginx服务。
service nginx restart
- 验证启动是否成功。
netstat -an|grep 6666
端口在监听状态,Nginx启动成功。
图5 验证结果
- 登录Linux华为云ECS,执行命令打开并修改配置文件。
- 在华为云ECS执行以下命令测试6666端口的网络连接。
redis-cli -h {target_ecs_address} -p 6666 -a {password}
其中,{target_ecs_address}为华为云ECS公网IP地址,6666为华为云ECS监听端口,{password}为源端Redis密码,如无密码可不填。
图6 连接示例 - 准备迁移工具RedisShake。
- 登录华为云ECS。
- 在华为云ECS中执行以下命令下载RedisShake,本文以下载2.0.3版本为例进行说明。您可以根据实际需要下载其他RedisShake版本。
wget https://github.com/tair-opensource/RedisShake/releases/download/release-v2.0.3-20200724/redis-shake-v2.0.3.tar.gz
- 执行命令解压RedisShake文件。
tar -xvf redis-shake-v2.0.3.tar.gz
- 配置RedisShake的配置文件。
- 执行命令启动RedisShake并使用rump(在线全量)模式开始数据迁移。
./redis-shake.linux -conf redis-shake.conf -type rump
图7 迁移过程图8 迁移结果 - 迁移完成后,请使用redis-cli工具连接源Redis和目标Redis,确认数据的完整性。
- 分别连接源Redis和目标Redis。
连接操作请参考redis-cli连接。
- 输入info keyspace,查看keys参数和expires参数的值。
- 对比源Redis和目标Redis的keys参数分别减去expires参数的差值。如果差值一致,表示数据完整,迁移正常。
- 分别连接源Redis和目标Redis。
- 删除RedisShake配置文件。
父主题: 其他云厂商Redis迁移至DCS