Elasticsearch集群数据迁移方案介绍

华为云Elasticsearch集群间数据迁移

华为云Logstash

• 适用于低版本的华为云Elasticsearch集群到高版本的数据迁移。
• 适用于将多个华为云Elasticsearch集群的数据整合到一个Elasticsearch集群的场景。

在集群迁移期间，不要对源集群的索引进行增删改操作，避免迁移后源集群与目标集群数据不一致。

通过华为云Logstash实现Elasticsearch集群间数据迁移

备份与恢复

• 适用于同Region或跨Region、同账号或跨账号的华为云Elasticsearch集群间的数据迁移。
• 适用于低版本的华为云Elasticsearch集群到高版本的数据迁移。
• 适用于将多个华为云Elasticsearch集群的数据整合到一个Elasticsearch集群的场景。

• 目标集群的版本不能低于源集群的版本，版本兼容性分析请参见Snapshot version compatibility。
• 目标集群的节点数要大于源集群的节点数的一半，且不能小于源集群的shard副本数。
• 目标集群的CPU、MEM和Disk配置不能低于源集群的配置。

通过备份与恢复实现华为云Elasticsearch集群间数据迁移

读写分离插件

• 适用于同Region或跨Region、同账号或跨账号的华为云Elasticsearch集群间的数据迁移。
• 适用于将多个华为云Elasticsearch集群的数据整合到一个Elasticsearch集群的场景。

源集群和目标集群的版本必须一致，都是7.6.2或7.10.2版本。

通过读写分离插件实现华为云Elasticsearch集群间数据迁移

Reindex API

适用于将多个华为云Elasticsearch集群的数据整合到一个Elasticsearch集群的场景。

在集群迁移期间，不要对源集群的索引进行增删改操作，避免迁移后源集群与目标集群数据不一致。

通过Reindex API实现Elasticsearch集群间数据迁移

ESM

• 适用于低版本的华为云Elasticsearch集群到高版本的数据迁移。
• 适用于将多个华为云Elasticsearch集群的数据整合到一个Elasticsearch集群的场景。

在集群迁移期间，不要对源集群的索引进行增删改操作，避免迁移后源集群与目标集群数据不一致。

通过ESM实现Elasticsearch集群间数据迁移

自建Elasticsearch集群迁移至华为云

华为云Logstash

• 适用于低版本的自建Elasticsearch集群到高版本华为云Elasticsearch集群的数据迁移。
• 适用于将多个自建Elasticsearch集群的数据整合到一个华为云Elasticsearch集群的场景。
• 适用于将自建的Elasticsearch服务迁移到华为云平台的场景。

• 在集群迁移期间，不要对源集群的索引进行增删改操作，避免迁移后源集群与目标集群数据不一致。
• 集群间需要保证网络连通。

  可以通过给自建Elasticsearch集群配置公网访问打通网络。

通过华为云Logstash实现Elasticsearch集群间数据迁移

备份与恢复

• 适用于低版本的自建Elasticsearch集群到高版本华为云Elasticsearch集群的数据迁移。

• 适用于将多个自建Elasticsearch集群的数据整合到一个华为云Elasticsearch集群的场景。
• 适用于将自建的Elasticsearch服务迁移到华为云平台的场景。

• 目标集群的版本不能低于源集群的版本，版本兼容性分析请参见Snapshot version compatibility。
• 备份与恢复不支持动态增量数据同步，建议停止数据更新后再进行备份。
• 自建Elasticsearch集群需要配置公网访问权限才能备份快照到OBS。

通过S3插件备份与恢复迁移自建Elasticsearch集群至华为云

Reindex API

• 适用于将多个自建Elasticsearch集群的数据整合到一个华为云Elasticsearch集群的场景。
• 适用于将自建的Elasticsearch服务迁移到华为云平台的场景。

在集群迁移期间，不要对源集群的索引进行增删改操作，避免迁移后源集群与目标集群数据不一致。

通过Reindex API实现Elasticsearch集群间数据迁移

ESM

• 适用于低版本的自建Elasticsearch集群到高版本华为云Elasticsearch集群的数据迁移。
• 适用于将多个自建Elasticsearch集群的数据整合到一个华为云Elasticsearch集群的场景。
• 适用于将自建的Elasticsearch服务迁移到华为云平台的场景。

在集群迁移期间，不要对源集群的索引进行增删改操作，避免迁移后源集群与目标集群数据不一致。

通过ESM实现Elasticsearch集群间数据迁移

云数据迁移CDM

华为云服务提供的云迁移工具，实现不同云服务间的集群迁移能力。

• 需要建立企业内部数据中心到华为云的VPN通道或专线。
• 集群迁移过程中，不能删除源集群的索引数据，否则迁移的数据可能出现异常。

Elasticsearch整库迁移到云搜索服务

第三方Elasticsearch集群迁移至华为云

华为云Logstash

• 适用于Elasticsearch集群版本跨度较大的迁移场景，例如从6.X版本迁移至7.X版本。
• 适用于将多个第三方Elasticsearch集群的数据整合到一个华为云Elasticsearch集群的场景。
• 适用于将第三方Elasticsearch服务迁移到华为云平台的场景。

• 在集群迁移期间，不要对源集群的索引进行增删改操作，避免迁移后源集群与目标集群数据不一致。
• 集群间需要保证网络连通。

  需要建立企业内部数据中心到华为云的VPN通道或专线。

通过华为云Logstash实现Elasticsearch集群间数据迁移

备份与恢复

• 适用于低版本的第三方Elasticsearch集群到高版本华为云Elasticsearch集群的数据迁移。

• 适用于将多个第三方Elasticsearch集群的数据整合到一个华为云Elasticsearch集群的场景。
• 适用于将第三方Elasticsearch服务迁移到华为云平台的场景。

• 目标集群的版本不能低于源集群的版本，版本兼容性分析请参见Snapshot version compatibility。
• 备份与恢复不支持动态增量数据同步，建议停止数据更新后再进行备份。
• 第三方存储仓库要配置公网访问才能迁移快照数据。

通过备份与恢复迁移第三方Elasticsearch集群至华为云

Reindex API

• 适用于将多个第三方Elasticsearch集群的数据整合到一个华为云Elasticsearch集群的场景。
• 适用于将第三方Elasticsearch服务迁移到华为云平台的场景。

在集群迁移期间，不要对源集群的索引进行增删改操作，避免迁移后源集群与目标集群数据不一致。

通过Reindex API实现Elasticsearch集群间数据迁移

ESM

• 适用于低版本的第三方Elasticsearch集群到高版本华为云Elasticsearch集群的数据迁移。
• 适用于将多个第三方Elasticsearch集群的数据整合到一个华为云Elasticsearch集群的场景。
• 适用于将第三方Elasticsearch服务迁移到华为云平台的场景。

在集群迁移期间，不要对源集群的索引进行增删改操作，避免迁移后源集群与目标集群数据不一致。

通过ESM实现Elasticsearch集群间数据迁移

云数据迁移CDM

华为云服务提供的云迁移工具，实现不同云服务间的集群迁移能力。

• 需要建立企业内部数据中心到华为云的VPN通道或专线。
• 集群迁移过程中，不能删除源集群的索引数据，否则迁移的数据可能出现异常。

Elasticsearch整库迁移到云搜索服务

数据库数据迁移至Elasticsearch集群

DataArts Studio的Migration服务

Migration提供了实时数据同步功能，可将数据通过同步技术从关系型数据库复制到CSS服务的Elasticsearch集群。

• MySQL数据库支持版本：5.6、5.7、8.x。
• Elasticsearch支持版本：7.x、5.x、6.x。

不同数据库来源的迁移方式和使用约束请参见相关文档。

使用Migration将MySQL同步到Elasticsearch