Doris冷热分离命令简介

此章节主要介绍CloudTable Doris冷热分离的使用命令。Doris集群基本命令使用请参见Doris MySQL命令简介。

• 创建数据迁移策略(STORAGE POLICY)

  CREATE STORAGE POLICY testPolicy
  PROPERTIES(
  "storage_resource" = "hot_to_cold",
  "cooldown_ttl" = "1d"
  );

  

  参数说明：

  • storage_resource：指定策略使用的storage resource名称，且值指定为hot_to_cold。
  • cooldown_ttl：热数据持续时间。从数据分片生成时开始计算，经过指定时间后转为冷数据。支持的格式： 1d：1天、 1h：1小时、 50000：50000秒、0：0秒，表示数据立即转为冷数据。注意：cooldown_ttl的值不得低于6h。
  • cooldown_datetime：热数据转为冷数据时间，不能与cooldown_ttl同时存在，如：2023-06-08 00:00:00。
• 创建含数据迁移策略的Doris Table
  • 创建数据库test_db。

    CREATE DATABASE IF NOT EXISTS test_db;

  • 创建test_tbl1。

    CREATE TABLE IF NOT EXISTS test_db.test_tbl1
    (
        `timestamp` DATETIME NOT NULL COMMENT "日志时间",
        `type` INT NOT NULL COMMENT "日志类型",
        `error_code` INT COMMENT "错误码",
        `error_msg` VARCHAR(1024) COMMENT "错误详细信息",
        `op_id` BIGINT COMMENT "负责人id",
        `op_time` DATETIME COMMENT "处理时间"
    )
    DISTRIBUTED BY HASH(`type`) BUCKETS 10
    PROPERTIES (
    "storage_policy" = "testPolicy",
    "replication_num" = "3"
    );

    

    storage_policy：存储策略是使用冷热分离功能的入口，用户在建表或使用Doris过程中，给表或分区关联上Storage policy，即可以使用冷热分离功能。

• 已存在的数据表关联迁移策略Storage policy。

  创建数据表test_tbl2。

  CREATE TABLE IF NOT EXISTS test_db.test_tbl2
  (
      `timestamp` DATETIME NOT NULL COMMENT "日志时间",
      `type` INT NOT NULL COMMENT "日志类型",
      `error_code` INT COMMENT "错误码",
      `error_msg` VARCHAR(1024) COMMENT "错误详细信息",
      `op_id` BIGINT COMMENT "负责人id",
      `op_time` DATETIME COMMENT "处理时间"
  )
  DISTRIBUTED BY HASH(`type`) BUCKETS 10
  PROPERTIES (
  "replication_num" = "3"
  );

  数据表关联/修改迁移策略Storage policy。

  ALTER TABLE test_db.test_tbl2 set ("storage_policy" = "testPolicy");

• 向含数据迁移策略的数据表插入数据。

  insert into test_db.test_tbl1 values ('2024-03-26 10:35:00', 1, 404, 'Resource Not Found', 998756, '2024-03-26 10:36:00');

• 删除数据迁移策略(STORAGE POLICY)

  DROP STORAGE POLICY testPolicy;

  

  • 删除数据迁移策略前，请检查关联该策略的所有表是否都已经删除，否则删除数据迁移策略会失败。
  • 删除含数据迁移策略的数据表后，为了保证数据的安全，冷数据在obs桶最多保留时间25小时，且数据保留期间会计费。