Elasticsearch集群导入数据方式
Elasticsearch集群导入数据方式介绍
Elasticsearch集群支持通过多种方式导入数据，基于业务使用场景可以自行选择导入数据的方式，具体请参见表1。在导入数据前可以根据需要选择是否对Elasticsearch集群进行导入性能增强，具体操作请参见增强Elasticsearch集群数据导入性能。
导入数据方式 |
适用场景 |
支持数据格式 |
相关文档 |
|---|---|---|---|
数据处理管道Logstash |
Logstash开源服务器端实时数据处理管道，支持多个来源采取数据。适用场景多，比如日志数据、监控数据、metric数据等流数据。 |
JSON、CSV、文本等多种格式 |
|
开源Elasticsearch API |
使用开源ELasticsearch API导入数据，使用灵活，适用于开发自己写的应用代码场景。 |
JSON |
|
云数据迁移服务CDM |
CDM向导式页面。适用于批数据迁移，比如数据存放在OBS或者Oracle数据库中，推荐使用CDM比较方便。 |
JSON |
|
数据复制服务DRS |
DRS用于数据库在线迁移和实时同步数据的云服务。 |
关系型数据库 |
使用DRS从数据库导入数据至Elasticsearch
数据复制服务（Data Replication Service，简称DRS）是一种易用、稳定、高效、用于数据库在线迁移和数据库实时同步的云服务。实时同步是指在不同的系统之间，将数据通过同步技术从一个数据源复制到其他数据库，并保持一致，实现关键业务的数据实时流动。
使用DRS支持将多种关系型数据库的数据导入至Elasticsearch集群，源数据库和目标集群的版本支持情况请参见表2。
数据导入场景 |
源数据库 |
目标Elasticsearch集群 |
参考文档 |
|---|---|---|---|
将RDS for MySQL数据库的数据导入到CSS Elasticsearch集群 |
RDS for MySQL 5.5、5.6、5.7、8.0版本 |
ElasticSearch 5.5、6.2、6.5、7.1、7.6、7.9、7.10版本 |
|
将GaussDB(for MySQL)数据库的数据导入到CSS Elasticsearch集群 |
GaussDB(for MySQL)主备实例 |
ElasticSearch 5.5、6.2、6.5、7.1、7.6、7.9、7.10版本 |
|
将自建MySQL数据库的数据导入到CSS Elasticsearch集群 |
本地或ECS自建MySQL数据库 5.5、5.6、5.7、8.0版本 |
ElasticSearch 5.5、6.2、6.5、7.1、7.6、7.9、7.10版本 |
