更新时间:2024-11-29 GMT+08:00

迁移方案

服务器资源规划

迁移Solr到Elasticsearch,需要按已有的Solr集群节点数量,提前准备同样数量的服务器节点,用于替换Solr节点。

其中,节点的CPU、内存、硬盘数以及硬盘大小均需要相同。

例如,Solr集群已有64台节点,256G内存,24*600G磁盘。

则搭建Elasticsearch集群需要服务器节点:64台,256G内存,24*600G磁盘。

服务器网络规划

MRS方案的网络划分为2个平面,即业务平面和管理平面,两个平面之间采用物理隔离的方式进行部署,保证业务、管理各自网络的安全性。主备管理节点还支持设置外部管理网络的IP地址,用户可以通过外部管理网络进行集群管理。用户需要在网络环境中准备足够的IP地址,为新节点配置网络信息。

数据迁移时间规划

数据迁移主要是源数据保存在HBase中,索引数据保存在Solr并计划迁移到Elasticsearch的场景,可以使用Elasticsearch软件包中的HBase数据导入导出工具在Elasticsearch导入数据。

工具运行时使用HBase集群资源,对内存有一定要求。迁移速度跟资源有关系。例如:

  • HBase集群92台(256G内存),Elasticsearch集群64台(256G内存),迁移速度为200w条每秒。对于10000亿条记录规模集群需要5.78天。
  • HBase集群92台(128G内存),Elasticsearch集群20台(128G内存),迁移速度为50w条每秒。对于10000亿条记录规模集群需要23.12天。

实际开始迁移前,建议先测试2小时,验证生产环境的数据迁移速度,再根据数量总量,确定完整的操作时间。

迁移影响

迁移后Solr和Elasticsearch可同时提供服务,但用户业务应用需要从Solr迁移到Elasticsearch,迁移过程可能无法提供服务。

迁移前准备

表1 迁移环境信息收集

信息项

说明

获取方式

Solr节点的信息

包含全部IP地址、CPU、内存和磁盘信息,用于准备Elasticsearch硬件资源,并测试数据迁移时间。

咨询集群管理员获取。

Elasticsearch节点的信息

包含全部IP地址及端口信息,用于业务应用迁移时更新配置,以及可能用于设置网络防火墙。

Solr与Elasticsearch管理员用户

包含用户名与密码,用于查询数据以确认迁移进度和结果。

迁移流程

本章节将以Solr服务的数据需要迁移到Elasticsearch,源数据保存在HBase中的场景作为主线进行介绍,流程图如图1所示。

图1 流程步骤