表格存储服务 CloudTable
表格存储服务 CloudTable
- 最新动态
- 产品介绍
- 计费说明
- 快速入门
-
用户指南
- HBase用户指南
- Doris用户指南
- ClickHouse用户指南
- 权限管理
- 审计日志
- 集群日志管理
- 最佳实践
- 开发指南
- API参考
- SDK参考
-
常见问题
-
通用类
- CloudTable集群能够提供什么服务?
- 为什么要选择CloudTable服务?
- 创建CloudTable HBase集群要准备什么?
- 使用CloudTable服务时需要关注什么?
- CloudTable HBase集群支持哪些压缩算法?
- 能停止CloudTable服务吗?
- CloudTable中的HBase外部接口支持哪些编程语言?
- 故障RegionServer个数怎么判断?
- CloudTable HBase支持的特殊符号?
- CloudTable数据进行删除,导致索引表和数据表不对应查询异常处理办法?
- python通过thrift访问cloudtable,多个任务并行缓慢
- 如何查看HBase shell的TTL属性?
- 服务器资源为什么会被释放?
- 资源停止服务或逾期释放说明
- 哪些场景会影响数据均衡?
- 如何调整数据均衡的灵敏度,调整后有哪些影响?
- Doris集群回收站数据处理
- 连接访问类
- 数据读写类
- 数据导入
- 网络配置
- 计费类
-
通用类
- 文档下载
- 通用参考
本文导读
展开导读
链接复制成功!
Doris冷热分离命令简介
此章节主要介绍CloudTable Doris冷热分离的使用命令。Doris集群基本命令使用请参见Doris MySQL命令简介。
- 创建数据迁移策略(STORAGE POLICY)
CREATE STORAGE POLICY testPolicy PROPERTIES( "storage_resource" = "hot_to_cold", "cooldown_ttl" = "1d" );
说明:
参数说明:
- storage_resource:指定策略使用的storage resource名称,且值指定为hot_to_cold。
- cooldown_ttl:热数据持续时间。从数据分片生成时开始计算,经过指定时间后转为冷数据。支持的格式: 1d:1天、 1h:1小时、 50000:50000秒、0:0秒,表示数据立即转为冷数据。注意:cooldown_ttl的值不得低于6h。
- cooldown_datetime:热数据转为冷数据时间,不能与cooldown_ttl同时存在,如:2023-06-08 00:00:00。
- 创建含数据迁移策略的Doris Table
- 创建数据库test_db。
CREATE DATABASE IF NOT EXISTS test_db;
- 创建test_tbl1。
CREATE TABLE IF NOT EXISTS test_db.test_tbl1 ( `timestamp` DATETIME NOT NULL COMMENT "日志时间", `type` INT NOT NULL COMMENT "日志类型", `error_code` INT COMMENT "错误码", `error_msg` VARCHAR(1024) COMMENT "错误详细信息", `op_id` BIGINT COMMENT "负责人id", `op_time` DATETIME COMMENT "处理时间" ) DISTRIBUTED BY HASH(`type`) BUCKETS 10 PROPERTIES ( "storage_policy" = "testPolicy", "replication_num" = "3" );
说明:
storage_policy:存储策略是使用冷热分离功能的入口,用户在建表或使用Doris过程中,给表或分区关联上Storage policy,即可以使用冷热分离功能。
- 创建数据库test_db。
- 已存在的数据表关联迁移策略Storage policy。
CREATE TABLE IF NOT EXISTS test_db.test_tbl2 ( `timestamp` DATETIME NOT NULL COMMENT "日志时间", `type` INT NOT NULL COMMENT "日志类型", `error_code` INT COMMENT "错误码", `error_msg` VARCHAR(1024) COMMENT "错误详细信息", `op_id` BIGINT COMMENT "负责人id", `op_time` DATETIME COMMENT "处理时间" ) DISTRIBUTED BY HASH(`type`) BUCKETS 10 PROPERTIES ( "replication_num" = "3" );
数据表关联/修改迁移策略Storage policy。
ALTER TABLE test_db.test_tbl2 set ("storage_policy" = "testPolicy");
- 向含数据迁移策略的数据表插入数据。
insert into test_db.test_tbl1 values ('2024-03-26 10:35:00', 1, 404, 'Resource Not Found', 998756, '2024-03-26 10:36:00');
- 删除数据迁移策略(STORAGE POLICY)
DROP STORAGE POLICY testPolicy;
说明:
- 删除数据迁移策略前,请检查关联该策略的所有表是否都已经删除,否则删除数据迁移策略会失败。
- 删除含数据迁移策略的数据表后,为了保证数据的安全,冷数据在obs桶最多保留时间25小时,且数据保留期间会计费。
父主题: Doris冷热分离应用