使用备份与恢复迁移集群
方案概述
CSS服务的Elasticsearch集群之间的数据迁移,可以通过备份与恢复集群快照功能实现。
适用场景:
- 集群升级:将低版本的集群数据迁移到高版本的集群中。
- 集群合并:将两个集群的索引数据合并到一个集群中。
本案例通过将Elasticsearch集群“Es-1”迁移到“Es-2”为例,介绍如何使用集群快照功能实现集群的备份与恢复。
迁移时长
迁移过程的耗时长短依赖于源集群和目的集群的节点个数或索引shard个数。迁移过程分为备份阶段和恢复阶段,备份阶段耗时由源集群决定,恢复阶段耗时由目的集群决定。迁移总时长的评估公式如下:
评估公式是基于理想状态下(即单节点以最快速度40MB/s传输)的迁移时长,实际迁移时长还会受到网络、资源等因素影响。
前提条件
- 目的端集群(Es-2)和源端集群(Es-1)处于可用状态。建议在业务空闲期进行集群迁移。
- 确认目的端集群(Es-2)和源端集群(Es-1)在同一个Region下。
- 确认目的端集群(Es-2)的版本大于等于源端集群(Es-1)的版本。
- 确认目的端集群(Es-2)的节点数大于源端集群(Es-1)的节点数的一半。
- 确认目的端集群(Es-2)的节点数大于等于源端集群(Es-1)的shard副本数。
- 确认目的端集群(Es-2)的CPU、MEM和Disk配置大于等于源端集群(Es-1)。
操作步骤
- 登录云搜索服务管理控制台。
- 在“集群管理 > Elasticsearch”页面,单击源端集群名称“Es-1”进入集群基本信息页面。
- 在左侧导航栏选择“集群快照”,打开集群快照开关,设置快照的基础配置。
表1 集群快照基础配置 参数
说明
OBS桶
选择存储集群快照的OBS桶。
备份路径
集群快照在OBS桶中的存放路径。可以保持默认值。
IAM委托
选择IAM委托,授权CSS服务访问或维护存储在OBS中数据。
IAM委托需要具备“全局服务”中“对象存储服务”项目的“OBS Administrator”权限。
- 完成基础配置后,单击“创建快照”,在弹窗中完成参数配置,单击“确定”启动手动创建快照。
表2 创建快照的配置 参数
说明
快照名称
自定义快照名称,可以保持默认值。
索引
填写需要进行备份的索引名称。索引名称不能包含空格和大写字母,且不能包含"\<|>/?特殊字符,多个索引之间使用英文逗号隔开。如果不填写,则默认备份集群中所有索引。支持使用“*”匹配多个索引,例如:index*,表示备份名称前缀是index的所有索引的数据。
快照描述
描述快照信息。
在快照管理列表中,当“快照状态”为“可用”时表示快照创建成功。
- 快照创建成功后,在快照管理列表,单击快照操作列的“恢复”,配置恢复参数将数据恢复至目的端集群“Es-2”。
表3 恢复快照的配置 参数
说明
索引
填写需要进行恢复的索引名称。如果不填写,则表示恢复所有的索引数据。支持使用“*”匹配多个索引,比如index*,表示恢复快照中名称前缀是index的所有索引。
索引名称匹配模式
索引名称匹配规则。“索引名称匹配模式”和“索引名称替换模式”必须同时设置才会生效。通过配置这两参数,可对快照中匹配到的索引进行重命名。
索引名称替换模式
索引名称重命名规则。设置“索引名称替换模式”参数时,“索引名称匹配模式”参数和该参数必须同时设置才能生效。
默认值“restored_index_$1”表示在所有恢复的索引名称前面加上“restored_”。
集群
选择要恢复快照的目的端集群,本案例选择“Es-2”。
须知:如果目的端集群中存在和源端集群同名的索引,则恢复完成后,目的端集群中的同名索引数据将会被覆盖。
在快照管理列表中,当“任务状态”变更为“恢复成功”时表示源端集群“Es-1”中的数据成功迁移到目的端集群“Es-2”。