计算
弹性云服务器 ECS
Flexus云服务
裸金属服务器 BMS
弹性伸缩 AS
镜像服务 IMS
专属主机 DeH
函数工作流 FunctionGraph
云手机服务器 CPH
Huawei Cloud EulerOS
网络
虚拟私有云 VPC
弹性公网IP EIP
虚拟专用网络 VPN
弹性负载均衡 ELB
NAT网关 NAT
云专线 DC
VPC终端节点 VPCEP
云连接 CC
企业路由器 ER
企业交换机 ESW
全球加速 GA
安全与合规
安全技术与应用
Web应用防火墙 WAF
企业主机安全 HSS
云防火墙 CFW
安全云脑 SecMaster
DDoS防护 AAD
数据加密服务 DEW
数据库安全服务 DBSS
云堡垒机 CBH
数据安全中心 DSC
云证书管理服务 CCM
边缘安全 EdgeSec
威胁检测服务 MTD
CDN与智能边缘
内容分发网络 CDN
CloudPond云服务
智能边缘云 IEC
迁移
主机迁移服务 SMS
对象存储迁移服务 OMS
云数据迁移 CDM
迁移中心 MGC
大数据
MapReduce服务 MRS
数据湖探索 DLI
表格存储服务 CloudTable
云搜索服务 CSS
数据接入服务 DIS
数据仓库服务 GaussDB(DWS)
数据治理中心 DataArts Studio
数据可视化 DLV
数据湖工厂 DLF
湖仓构建 LakeFormation
企业应用
云桌面 Workspace
应用与数据集成平台 ROMA Connect
云解析服务 DNS
专属云
专属计算集群 DCC
IoT物联网
IoT物联网
设备接入 IoTDA
智能边缘平台 IEF
用户服务
账号中心
费用中心
成本中心
资源中心
企业管理
工单管理
国际站常见问题
ICP备案
我的凭证
支持计划
客户运营能力
合作伙伴支持计划
专业服务
区块链
区块链服务 BCS
Web3节点引擎服务 NES
解决方案
SAP
高性能计算 HPC
视频
视频直播 Live
视频点播 VOD
媒体处理 MPC
实时音视频 SparkRTC
数字内容生产线 MetaStudio
存储
对象存储服务 OBS
云硬盘 EVS
云备份 CBR
存储容灾服务 SDRS
高性能弹性文件服务 SFS Turbo
弹性文件服务 SFS
云硬盘备份 VBS
云服务器备份 CSBS
数据快递服务 DES
专属分布式存储服务 DSS
容器
云容器引擎 CCE
容器镜像服务 SWR
应用服务网格 ASM
华为云UCS
云容器实例 CCI
管理与监管
云监控服务 CES
统一身份认证服务 IAM
资源编排服务 RFS
云审计服务 CTS
标签管理服务 TMS
云日志服务 LTS
配置审计 Config
资源访问管理 RAM
消息通知服务 SMN
应用运维管理 AOM
应用性能管理 APM
组织 Organizations
优化顾问 OA
IAM 身份中心
云运维中心 COC
资源治理中心 RGC
应用身份管理服务 OneAccess
数据库
云数据库 RDS
文档数据库服务 DDS
数据管理服务 DAS
数据复制服务 DRS
云数据库 GeminiDB
云数据库 GaussDB
分布式数据库中间件 DDM
数据库和应用迁移 UGO
云数据库 TaurusDB
人工智能
人脸识别服务 FRS
图引擎服务 GES
图像识别 Image
内容审核 Moderation
文字识别 OCR
AI开发平台ModelArts
图像搜索 ImageSearch
对话机器人服务 CBS
华为HiLens
视频智能分析服务 VIAS
语音交互服务 SIS
应用中间件
分布式缓存服务 DCS
API网关 APIG
微服务引擎 CSE
分布式消息服务Kafka版
分布式消息服务RabbitMQ版
分布式消息服务RocketMQ版
多活高可用服务 MAS
事件网格 EG
企业协同
华为云会议 Meeting
云通信
消息&短信 MSGSMS
云生态
合作伙伴中心
云商店
开发者工具
SDK开发指南
API签名指南
Terraform
华为云命令行工具服务 KooCLI
其他
产品价格详情
系统权限
管理控制台
客户关联华为云合作伙伴须知
消息中心
公共问题
开发与运维
应用管理与运维平台 ServiceStage
软件开发生产线 CodeArts
需求管理 CodeArts Req
部署 CodeArts Deploy
性能测试 CodeArts PerfTest
编译构建 CodeArts Build
流水线 CodeArts Pipeline
制品仓库 CodeArts Artifact
测试计划 CodeArts TestPlan
代码检查 CodeArts Check
代码托管 CodeArts Repo
云应用引擎 CAE
开天aPaaS
云消息服务 KooMessage
云手机服务 KooPhone
云空间服务 KooDrive
文档首页/ 数据复制服务 DRS/ 实时迁移/ 出云/ 将GeminiDB Redis迁移到Redis

GeminiDB Redis迁移到Redis

更新时间:2024-11-29 GMT+08:00

支持的源和目标数据库

表1 支持的数据库

源数据库

目标数据库

GeminiDB Redis

  • 本地自建Codis集群(开源Codis 3.0及以上版本)
  • ECS自建Codis集群(开源Codis 3.0及以上版本)
  • 本地自建Redis单机版(2.8.x、3.0.x、3.2.x、4.0.x、5.0.x版本)
  • ECS自建Redis单机版(2.8.x、3.0.x、3.2.x、4.0.x、5.0.x版本)
  • 本地自建Redis主备版(4.0.x、5.0.x版本)
  • ECS自建Redis主备版(4.0.x、5.0.x版本)
  • GeminiDB Redis

支持的迁移对象范围

在使用DRS进行迁移时,不同类型的迁移任务,支持的迁移对象范围不同,详细情况可参考表2DRS会根据用户选择,在“预检查”阶段对迁移对象进行自动检查

表2 支持的迁移对象

类型名称

使用须知

迁移对象范围

  • 迁移对象选择维度:仅支持全部迁移。
  • 支持的迁移对象
    • 支持String,Hash,List,Set,Sorted Set类型迁移。
    • 不支持Lua脚本和事务的迁移。
    • 不支持Stream,Exhash ,Bloomfilter类型迁移。
    • 不支持自定义类型。
    • 不支持迁移目标库不支持的命令。

使用建议

注意:

如果您使用的是全量迁移模式,确保源和目标数据库无业务写入,保证迁移前后数据一致。如果您使用的是全量+增量迁移模式,支持在源数据库有业务数据写入的情况下进行迁移。

  • 数据库迁移与环境多样性和人为操作均有密切关系,为了确保迁移的平顺,建议您在进行正式的数据库迁移之前进行一次演练,可以帮助您提前发现问题并解决问题。
  • 迁移阶段,确保目标数据库无业务写入,保证迁移前后数据一致。
  • 基于以下原因,建议您在启动任务时选择“稍后启动”功能,将启动时间设置在业务低峰期,相对静止的数据可以有效提升一次性迁移成功率,避免迁移对业务造成性能影响。
    • 在网络无瓶颈的情况下,全量迁移会对源数据库增加约20MB/s的查询压力,以及占用2~4个CPU。

使用须知

DRS全量+增量迁移过程一般包含四个阶段:任务启动阶段、全量阶段、增量阶段、结束任务阶段(单全量任务则包含三个阶段)。为了确保迁移各个阶段的平顺,在创建迁移任务前,请务必阅读以下使用须知。

表3 使用须知

类型名称

使用和操作限制

任务启动前须知

  • 源数据库要求:
    • 源库必须是本云GeminiDB Redis实例。
    • 一个GeminiDB Redis实例只能同时作为一个DRS任务的源端数据库。
    • 源数据库GeminiDB Redis内核版本(gemini version)为4.2.0及以上。
    • 源库存在数据的数据库序号,需要小于目标库的最大序号,比如源库10号库存在数据,则目标库最大序号需要大于或等于10。
    • 创建全量+增量任务,需要支持PSYNC命令。
    • 源数据库GeminiDB Redis需要开启复制功能。
      set config set enable-replication 1。
    • notify-keyspace-events 配置项开启通知过期事件互斥,如需使用迁移功能,需关闭 通知过期事件的功能.
  • 目标数据库要求:
    • 迁移前目标库建议为空。
    • 目标数据库实例必须有足够的存储空间。
    • 如果目标库是Redis 5.0主备版,目标库测试连接请填写主节点、从节点、哨兵节点的所有IP和对应端口,且主从节点和哨兵节点的密码必须设置成一致。
    • 如果目标库是Redis 4.0主备版,且主从节点设置了requirepass参数(有密码),DRS此时把主备Redis当成单机版Redis,暂不支持目标库发生主备倒换场景,目标库测试连接请只填写主节点IP和端口。
    • 如果目标库是Redis 4.0主备版,且主从节点没有设置requirepass参数(无密码),可以支持目标库发生主备倒换场景,目标库测试连接请填写主节点、从节点、哨兵节点的所有IP和对应端口。
  • 其他使用须知:
    • 全量+增量任务使用解析RDB的方式读取数据。
    • 如果源库GeminiDB Redis复制功能超时时间repl-timeout过小(当前默认是3600s),可以适当进行扩大,防止任务失败时间过长,导致任务无法续传。
    • 迁移过程中,如果源库GeminiDB Redis增配导致任务失败,需要重置任务。且为保障数据一致性,在重置任务前,建议先清空已迁移至目标的数据。(任务增量中且源库内核版本(gemini version)6.3.0及以上无需重置)
    • 迁移过程中,不支持源库GeminiDB Redis减配,如果源库需要减配,请重新创建迁移任务。(任务增量中且源库内核版本(gemini version)6.3.0及以上无需重置)
    • 对于List对象,由于在调用PSYNC进行重传时,不会对目标端已有的数据进行清空,可能导致出现重复数据。
    • 源库GeminiDB Redis为主备版时,不支持在源库执行包含多个key的命令(例如mset等),否则可能因为key不在同一个slot或者涉及多个slot,导致报错:CROSSSLOT Keys in request don't hash to the same slot。

全量迁移阶段须知

  • 迁移过程中,不允许修改连接源和目标数据库的密码,或修改源和目标数据库的端口号。
  • 迁移过程中,不允许对正在迁移中的目标数据库进行修改操作。

增量迁移阶段须知

  • 迁移过程中,不允许修改连接源和目标数据库的密码,或修改源和目标数据库的端口号。
  • 迁移过程中,不允许对正在迁移中的目标数据库进行修改操作。

前提条件

操作步骤

本章节将介绍在VPN网络场景下,通过数据复制服务配置GeminiDB Redis迁移至Redis数据库的任务流程。

  1. “实时迁移管理”页面,单击“创建迁移任务”,进入创建迁移任务页面。
  2. 在“迁移实例”页面,填选区域、项目、任务名称、描述、迁移实例信息,单击“开始创建”

    • 任务信息
      图1 迁移任务信息
      表4 任务和描述

      参数

      描述

      区域

      当前所在区域,可进行切换。为了降低访问时延、提高访问速度,请就近选择靠近您业务的区域。

      项目

      当前区域对应的项目,可进行切换。

      任务名称

      任务名称在4到50位之间,必须以字母开头,可以包含字母、数字、中划线或下划线,不能包含其他的特殊字符。

      描述

      描述不能超过256位,且不能包含! = < > & ' " \ 特殊字符。

    • 迁移实例信息
      图2 迁移实例信息
      表5 迁移实例信息

      参数

      描述

      数据流动方向

      选择“出云”

      出云指源端数据库为本云数据库。

      源数据库引擎

      选择“GeminiDB Redis”。

      目标数据库引擎

      选择“Redis”

      网络类型

      本示例中为“VPN、专线网络”类型,可按照需求选择“VPC网络”“公网网络”“VPN、专线网络”

      • VPC网络:适合云上同账号同Region同VPC场景下数据库之间的迁移。
      • 公网网络:适合通过公网网络把其他云下或其他平台的数据库迁移到目标数据库。
      • VPN、专线网络:适合VPN、专线、CC、VPCEP、或者用户已打通VPC对等连接的网络场景,实现其他云下自建数据库与云上数据库迁移、或云上跨Region的数据库之间的迁移。

      源数据库实例

      用户所创建的源GeminiDB Redis实例。

      迁移实例所在子网

      选择迁移实例所在的子网。也可以单击“查看子网”,跳转至“网络控制台”查看实例所在子网帮助选择。

      默认值为当前所选数据库实例所在子网,请选择有可用IP地址的子网。为确保迁移实例创建成功,仅显示已经开启DHCP的子网。

      迁移模式

      • 全量+增量:该模式为数据库持续性迁移,适用于对业务中断敏感的场景,通过全量迁移过程完成目标端数据库的初始化后,增量迁移阶段通过解析日志等技术,将源端和目标端数据库保持数据持续一致。
        说明:

        选择“全量+增量”迁移模式,增量迁移可以在全量迁移完成的基础上实现数据的持续同步,无需中断业务,实现迁移过程中源业务和数据库继续对外提供访问。

      DRS任务数

      DRS任务数量代表DRS进行迁移的节点数量,源端2到3个分片可以使用一个DRS任务。源库GeminiDB Redis为主备版时,DRS任务数只能为1。

      指定公网IP

      网络类型选择“公网网络”时可见,选择为DRS实例绑定的弹性公网IP。任务创建时,DRS将会自动绑定该弹性公网IP,等待任务结束后将自动解绑该弹性公网IP。指定公网IP数量需要与实例数量匹配。

      公网网络迁移产生的数据传输费用收取标准请参见:弹性公网IP价格计算器

    • 可用区
      图3 可用区
      表6 任务可用区

      参数

      描述

      可用区

      DRS任务创建的可用区,选择跟源或目标库相同的可用区性能更优。

    • 企业项目和标签
      图4 企业项目和标签
      表7 企业项目和标签

      参数

      描述

      企业项目

      企业项目是一种云资源管理方式,企业项目管理服务提供统一的云资源按项目管理,以及项目内的资源管理、成员管理。请在下拉框中选择所在的企业项目,其中,default为默认项目。

      更多关于企业项目的信息,请参见《企业管理用户指南》

      如果需要自定义企业项目,请在控制台右上角单击“企业”,进入“企业项目管理”页面创建,具体请参见《企业管理用户指南》中“创建企业项目”的内容。

      标签

      • 可选配置,对同步任务的标识。使用标签可方便管理您的任务。每个任务最多支持20个标签配额。
      • 如果您的组织已经设定DRS的相关标签策略,则需按照标签策略规则为任务添加标签。标签如果不符合标签策略的规则,则可能会导致任务创建失败,请联系组织管理员了解标签策略详情。
      • 任务创建成功后,您可以单击任务名称,在“标签”页签下查看对应标签。关于标签的详细操作,请参见标签管理
    说明:

    对于创建失败的任务,DRS默认保留3天,超过3天将会自动结束任务。

  3. 在“源库及目标库”页面,迁移实例创建成功后,填选自建DNS服务配置、源库信息和目标库信息,单击“源库和目标库”处的“测试连接”,分别测试并确定与源库和目标库连通后,勾选协议,单击“下一步”

    • 自建DNS服务配置(选填)
      图5 自建DNS服务器
      表8 自建DNS信息

      参数

      描述

      是否配置自建DNS服务器

      当用户需要填写自建的内网域名数据库地址作为源或者目标库时,请开启此选项。

      自建DNS服务IP

      填写用户自建的DNS服务IP信息。

      配置自建DNS服务IP后,用户可在源库或目标库的“IP地址或域名”处填写您自建的内网域名数据库地址进行数据迁移。

      说明:

      当用户需要填写自建的内网域名数据库地址作为源或者目标库时,此功能能够实现。

      自建DNS功能目前仅支持白名单用户,需要提交工单申请才能使用。您可以在管理控制台右上角,选择“工单 > 新建工单”,完成工单提交。

    • 源库信息
      图6 源库信息页面
      表9 源库信息

      参数

      描述

      数据库实例名称

      默认为创建迁移任务时选择的GeminiDB Redis实例,不可进行修改。

      数据库密码

      源数据库的管理员密码。

      说明:

      源数据库的IP地址或域名和密码,会被系统加密暂存,直至删除该迁移任务后自动清除。

    • 目标库信息配置
      图7 目标库信息
      表10 目标库信息

      参数

      描述

      IP地址或域名

      目标数据库的IP地址或域名,格式为IP地址/域名:端口。其中目标数据库服务端口,可输入范围为1~65535间的整数。

      • 如果是单机或代理架构,需要确保所填写的多个IP地址或域名属于同一个实例。
      • 如果目标库是Redis 5.0主备版,目标库测试连接请填写主节点、从节点、哨兵节点的所有IP和对应端口,且主从节点和哨兵节点的密码必须设置成一致。
      • 如果目标库是Redis 4.0主备版,且主从节点设置了requirepass参数(有密码),DRS此时把主备Redis当成单机版Redis,暂不支持目标库发生主备倒换场景,目标库测试连接请只填写主节点IP和端口。
      • 如果目标库是Redis 4.0主备版,且主从节点没有设置requirepass参数(无密码),可以支持目标库发生主备倒换场景,目标库测试连接请填写主节点、从节点、哨兵节点的所有IP和对应端口。

      数据库密码

      目标数据库的登录密码。

      说明:

      目标数据库的密码将在迁移过程中被加密暂存到数据库和迁移实例主机上,待该任务删除后会永久清除。

  4. “迁移设置”页面,设置迁移对象,单击“下一步”

    图8 设置迁移对象
    表11 迁移对象

    参数

    描述

    迁移对象

    目前仅支持全部迁移。

  5. “预检查”页面,进行迁移任务预校验,校验是否可进行迁移。

    • 查看检查结果,如有不通过的检查项,需要修复不通过项后,单击“重新校验”按钮重新进行迁移任务预校验。

      预检查不通过项处理建议请参见《数据复制服务用户指南》中的“预检查不通过项修复方法”。

    • 预检查完成后,且预检查通过率为100%时,单击“下一步”。
      说明:

      所有检查项结果均通过时,若存在请确认项,需要阅读并确认详情后才可以继续执行下一步操作。

  6. “任务确认”页面,设置迁移任务的启动时间、任务异常通知设置、SMN主题、时延阈值、任务异常自动结束时间,并确认迁移任务信息无误后,单击“启动任务”,提交迁移任务。

    图9 任务启动设置

    表12 任务启动设置

    参数

    描述

    启动时间

    迁移任务的启动时间可以根据业务需求,设置为“立即启动”或“稍后启动”,优选“稍后启动”。

    说明:

    预计迁移任务启动后,会对源数据库和目标数据库的性能产生影响,建议您将任务启动时间设定在业务低峰期,同时预留2-3天校对数据。

    任务异常通知设置

    该项为可选参数,开启之后,选择对应的SMN主题。当入云迁移任务即将开始计费或者迁移任务状态、时延指标、数据等异常时,系统将发送通知。

    SMN主题

    “任务异常通知设置”项开启后可见,需提前在SMN上申请主题并添加订阅。

    SMN主题申请和订阅可参考《消息通知服务用户指南》

    时延阈值

    在增量迁移阶段,源数据库和目标数据库之间的同步有时会存在一个时间差,称为时延,单位为秒。

    时延阈值设置是指时延超过一定的值后(时延阈值范围为0到3600s),DRS可以发送告警通知。告警通知将在时延稳定超过设定的阈值6min后发送,避免出现由于时延波动反复发送告警通知的情况。

    说明:
    • 首次进入增量迁移阶段,会有较多数据等待同步,存在较大的时延,属于正常情况,不在此功能的监控范围之内。
    • 设置时延阈值之前,需要设置任务异常通知。
    • 当时延阈值设置为0时,不会发送通知给收件人。

    数据异常通知

    该项为可选参数,开启之后,当同步任务数据异常时,系统将发送通知。

    任务异常自动结束时间(天)

    设置任务异常自动结束天数,输入值必须在14到100之间,默认值14。

    说明:

    异常状态下的任务仍然会计费,而长时间异常的任务无法续传和恢复。设置任务异常自动结束天数后,异常且超时的任务将会自动结束,以免产生不必要的费用。

  7. 迁移任务提交后,您可在“实时迁移管理”页面,查看并管理自己的任务

    • 您可查看任务提交后的状态,状态请参见任务状态说明
    • 在任务列表的右上角,单击刷新列表,可查看到最新的任务状态。
    • 全量迁移结束后,可通过数据对比功能查看迁移前后数据是否一致。
    • 对于未启动、状态为配置中的任务,DRS默认保留3天,超过3天DRS会自动删除后台资源,当前任务状态不变。当用户再次配置时,DRS会重新申请资源。
    • 对于公网网络类型的任务,由于DRS需要在任务结束后删除后台资源,所以该任务绑定的弹性公网IP需要等待一段时间,才能恢复为解绑状态。

我们使用cookie来确保您的高速浏览体验。继续浏览本站,即表示您同意我们使用cookie。 详情

文档反馈

文档反馈

意见反馈

0/500

标记内容

同时提交标记内容