更新时间:2023-11-21 GMT+08:00

数据迁移

社区版InfluxDB是非常受欢迎的时序数据库,着力于高性能地查询与存储时序型数据。

GeminiDB Influx是基于华为自研的计算存储分离架构,兼容InfluxDB的生态的时序数据库。在云计算平台高性能、高可用、高可靠、高安全、可弹性伸缩的基础上,提供了一键部署、快速备份恢复、计算存储独立扩容、监控告警等服务能力。GeminiDB Influx相较于社区版本InfluxDB,有更强的查询、写入以及数据压缩的性能。

本章节主要介绍社区版InfluxDB到GeminiDB Influx的迁移方案。

迁移原理

通过迁移工具解析社区版InfluxDB的tsm以及wal文件写入到行协议(Line Protocal)文件中,最终将行协议文件数据解析并迁移至目标端。

整个迁移过程分为导出和导入阶段两个阶段。

  • 导出阶段会并发解析社区版InfluxDB的tsm以及wal文件,并将解析数据写入到行协议文件中。
  • 导入阶段会并发读取行协议文件,将读取数据发送至GeminiDB Influx集群各节点上。

迁移工具支持全量迁移和增量迁移,具体可在配置文件中配置。

使用须知

  • 迁移工具,与社区版InfluxDB部署在相同机器上,准备好配置文件。
  • 迁移工具需要从tsm以及wal提取数据到本地行协议文件,并从行协议文件中获取数据发送到目标端GeminiDB Influx ,该过程中可能影响源端性能,建议在业务低峰期运行迁移工具。
  • 由于需要将tsm/wal文件数据提取至行协议文件,请预留足够大的磁盘空间。
  • 迁移工具仅支持社区版InfluxDB 1.X版本迁移。

前提条件

  • 确保源端、目标端之间网络互通。
  • 目标端GeminiDB Influx已创建好对应的数据库和RP(Retention Policy)。

操作步骤

如需进行社区版InfluxDB到GeminiDB Influx的迁移,您可以在管理控制台右上角,选择“工单 > 新建工单”,联系技术支持进行处理。

迁移性能参考

  • 迁移环境:
    • 源端:华为云4U16GB的弹性云服务器部署开源InfluxDB以及迁移工具。
    • 目标端:4U16GB,3节点GeminiDB Influx实例。
  • 迁移性能:
    • 源端单一进程数据导出速率为1GB/min。
    • 目标端单线程导入速率为1GB/min。