迁移方案
服务器资源规划
迁移Solr到Elasticsearch,需要按已有的Solr集群节点数量,提前准备同样数量的服务器节点,用于替换Solr节点。
其中,节点的CPU、内存、硬盘数以及硬盘大小均需要相同。
例如,Solr集群已有64台节点,256G内存,24*600G磁盘。
则搭建Elasticsearch集群需要服务器节点:64台,256G内存,24*600G磁盘。
服务器网络规划
MRS方案的网络划分为2个平面,即业务平面和管理平面,两个平面之间采用物理隔离的方式进行部署,保证业务、管理各自网络的安全性。主备管理节点还支持设置外部管理网络的IP地址,用户可以通过外部管理网络进行集群管理。用户需要在网络环境中准备足够的IP地址,为新节点配置网络信息。
数据迁移时间规划
数据迁移主要是源数据保存在HBase中,索引数据保存在Solr并计划迁移到Elasticsearch的场景,可以使用Elasticsearch软件包中的HBase数据导入导出工具在Elasticsearch导入数据。
工具运行时使用HBase集群资源,对内存有一定要求。迁移速度跟资源有关系。例如:
- HBase集群92台(256G内存),Elasticsearch集群64台(256G内存),迁移速度为200w条每秒。对于10000亿条记录规模集群需要5.78天。
- HBase集群92台(128G内存),Elasticsearch集群20台(128G内存),迁移速度为50w条每秒。对于10000亿条记录规模集群需要23.12天。
实际开始迁移前,建议先测试2小时,验证生产环境的数据迁移速度,再根据数量总量,确定完整的操作时间。
迁移影响
迁移后Solr和Elasticsearch可同时提供服务,但用户业务应用需要从Solr迁移到Elasticsearch,迁移过程可能无法提供服务。
迁移前准备
信息项 |
说明 |
获取方式 |
---|---|---|
Solr节点的信息 |
包含全部IP地址、CPU、内存和磁盘信息,用于准备Elasticsearch硬件资源,并测试数据迁移时间。 |
咨询集群管理员获取。 |
Elasticsearch节点的信息 |
包含全部IP地址及端口信息,用于业务应用迁移时更新配置,以及可能用于设置网络防火墙。 |
|
Solr与Elasticsearch管理员用户 |
包含用户名与密码,用于查询数据以确认迁移进度和结果。 |