更新时间:2024-09-14 GMT+08:00

OpenSearch集群导入数据方式

OpenSearch集群导入数据方式介绍

OpenSearch集群支持通过多种方式导入数据,基于业务使用场景可以自行选择导入数据的方式,具体请参见表1。在导入数据前可以根据需要选择是否对Elasticsearch集群进行导入性能增强,具体操作请参见增强OpenSearch集群数据导入性能

表1 OpenSearch集群导入数据的方式

导入数据方式

适用场景

支持数据格式

相关文档

数据处理管道Logstash

Logstash开源服务器端实时数据处理管道,支持多个来源采取数据。适用场景多,比如日志数据、监控数据、metric数据等流数据。

JSON、CSV、文本等多种格式

使用自建Logstash导入数据到OpenSearch

开源OpenSearch API

使用开源OpenSearch API导入数据,使用灵活,适用于开发自己写的应用代码场景。

JSON

使用开源OpenSearch API导入数据到OpenSearch

云数据迁移服务CDM

CDM向导式页面。适用于批数据迁移,比如数据存放在OBS或者Oracle数据库中,推荐使用CDM比较方便。

JSON

使用CDM导入数据到OpenSearch

数据复制服务DRS

DRS用于数据库在线迁移和实时同步数据的云服务。

关系型数据库

使用DRS从数据库导入数据至OpenSearch

使用DRS从数据库导入数据至OpenSearch

数据复制服务(Data Replication Service,简称DRS)是一种易用、稳定、高效、用于数据库在线迁移和数据库实时同步的云服务。实时同步是指在不同的系统之间,将数据通过同步技术从一个数据源复制到其他数据库,并保持一致,实现关键业务的数据实时流动。

使用DRS支持将多种关系型数据库的数据导入至Elasticsearch集群,源数据库和目标集群的版本支持情况请参见表2

表2 使用DRS从数据库导入数据至OpenSearch

数据导入场景

源数据库

目标OpenSearch集群

参考文档

将RDS for MySQL数据库的数据导入到CSS Elasticsearch集群

RDS for MySQL 5.5、5.6、5.7、8.0版本

OpenSearch 1.3.6版本

将MySQL同步到CSS/ES

将GaussDB(for MySQL)数据库的数据导入到CSS Elasticsearch集群

GaussDB(for MySQL)主备实例

OpenSearch 1.3.6版本

将GaussDB(for MySQL)同步到CSS/ES

将自建MySQL数据库的数据导入到CSS Elasticsearch集群

本地或ECS自建MySQL数据库 5.5、5.6、5.7、8.0版本

OpenSearch 1.3.6版本

将MySQL同步到CSS/ES