更新时间:2024-04-29 GMT+08:00

ClickHouse数据迁移

本章节为您介绍数据迁移能力。

使用场景

ClickHouse集群水平扩容后,需要使用数据迁移对数据进行迁移。

注意事项

  • 每个数据表只能绑定一个任务。一个集群仅支持一个执行中的任务。
  • 本地表的数据库必须为 atomic(默认)或 ordinary,且表类型为 Mergetree 家族系列引擎的表(包括非复制表和复制表,不支持物化视图表)。
  • 本地表副本关系和cluster一致,有分布式表作为分片之间的关系。
  • 数据迁移过程中原表默认为只读状态。
  • 数据迁移的时候数据首先会保存在临时表中,执行的时候用迁移的数据表替换原表,该过程中可能读取到错误的数据,切换时间为秒级。
  • 数据迁移过程中可能由于集群问题导致此过程暂停,根据报错集群修复继续执行任务。
  • 数据迁移的时候,源节点和重分布节点必须存在相同表,这样才可以进行数据迁移。
  • 单节点不支持数据迁移。

数据迁移新建任务

  1. 登录表格存储服务管理控制台。
  2. 单击管理控制台左上角的,选择区域。
  3. 单击集群管理,选择集群进入集群详情页面。
  4. 单击数据迁移进入数据迁移管理页面。

    表1 数据迁移参数说明

    参数

    说明

    任务ID/名称

    新建迁移任务ID/名称。

    逻辑集群

    选取的逻辑集群名称。

    源节点

    数据存放的节点。

    重分布节点

    数据分布的节点。

    状态/进度

    数据分布的状态/进度。

    状态:初始化、运行中、已完成。

    创建时间

    创建数据任务的时间。

    执行开始时间

    启动数据任务的时间。

    更新时间

    修改数据任务的时间。

    操作

    • 启动:启动数据任务。
    • 修改:修改任务信息。
    • 取消:取消迁移任务。
    • 详情:任务详情页面。
    • 删除:删除任务。

  5. 单击左上角“新建任务”。

    1. 用户自定义任务名称(以字母开头)。
    2. 选择逻辑集群。
    3. 选择迁移百分比。
    4. 选择源节点。
    5. 选择重分布节点。
    6. 选择迁移的数据表。

  6. 选择后单击确定,完成新建任务。
  7. 单击操作列“启动”,任务启动。

修改数据迁移任务

  1. 登录表格存储服务管理控制台。
  2. 单击管理控制台左上角的,选择区域。
  3. 单击集群管理,选择集群进入集群详情页面。
  4. 单击数据迁移进入数据迁移管理页面。
  5. 单击操作列“修改”,进入修改任务页面。
  6. 修改参数后,单击确定。

查看任务详情

  1. 登录表格存储服务管理控制台。
  2. 单击管理控制台左上角的,选择区域。
  3. 单击集群管理,选择集群进入集群详情页面。
  4. 单击数据迁移进入数据迁移管理页面。
  5. 单击操作列“修改”,进入任务详情页面。
  6. 查看任务相关信息。

删除任务

  1. 登录表格存储服务管理控制台。
  2. 单击管理控制台左上角的,选择区域。
  3. 单击集群管理,选择集群进入集群详情页面。
  4. 单击数据迁移进入数据迁移管理页面。
  5. 单击操作列“删除”,弹出删除窗口,单击确定,删除任务。