更新时间:2024-12-02 GMT+08:00
分享

数据迁移

社区版InfluxDB是非常受欢迎的时序数据库,着力于高性能地查询与存储时序型数据。

GeminiDB Influx是基于华为自研的计算存储分离架构,兼容InfluxDB的生态的时序数据库。在云计算平台高性能、高可用、高可靠、高安全、可弹性伸缩的基础上,提供了一键部署、快速备份恢复、计算存储独立扩容、监控告警等服务能力。GeminiDB Influx相较于社区版本InfluxDB,有更强的查询、写入以及数据压缩的性能。

本章节主要介绍社区版InfluxDB到GeminiDB Influx的迁移方案。

迁移原理

使用开源迁移工具data-migration-tools解析社区版InfluxDB的tsm以及wal文件写入到行协议(Line Protocal)文件中,最终将行协议文件数据解析并迁移至目标端。

整个迁移过程分为导出和导入阶段两个阶段。

  • 导出阶段会并发解析社区版InfluxDB的tsm文件,并将解析数据写入到内存中。
  • 导入阶段会将读取数据发送至GeminiDB Influx集群。

迁移工具支持自定义迁移时间范围,可在工具运行时指定。

data-migration-tools工具可下载release版本,解压缩后即可使用。

使用须知

  • 迁移工具,与社区版InfluxDB部署在相同机器上,准备好配置文件。
  • 迁移工具需要从tsm提取数据到本地行协议文件,并从行协议文件中获取数据发送到目标端GeminiDB Influx ,该过程中可能影响源端性能,建议在业务低峰期运行迁移工具。
  • 迁移工具仅支持社区版InfluxDB 1.x版本迁移。

前提条件

  • 确保源端、目标端之间网络互通。
  • 目标端GeminiDB Influx已创建好对应的数据库和RP(Retention Policy)。

操作步骤

如需进行社区版InfluxDB到GeminiDB Influx迁移,请参考数据迁移工具使用指南

迁移性能参考

  • 迁移环境:
    • 源端:华为云4U16GB的弹性云服务器部署开源InfluxDB以及迁移工具。
    • 目标端:4U16GB,3节点GeminiDB Influx实例。
  • 迁移性能:
    • 源端单一进程数据迁移速率为1GB/min。

相关文档