表格存储服务 CloudTable
表格存储服务 CloudTable
- 最新动态
- 产品介绍
- 计费说明
- 快速入门
-
用户指南
- HBase用户指南
- Doris用户指南
- ClickHouse用户指南
- 权限管理
- 审计日志
- 集群日志管理
- 最佳实践
- 开发指南
- API参考
- SDK参考
-
常见问题
-
通用类
- CloudTable集群能够提供什么服务?
- 为什么要选择CloudTable服务?
- 创建CloudTable HBase集群要准备什么?
- 使用CloudTable服务时需要关注什么?
- CloudTable HBase集群支持哪些压缩算法?
- 能停止CloudTable服务吗?
- CloudTable中的HBase外部接口支持哪些编程语言?
- 故障RegionServer个数怎么判断?
- CloudTable HBase支持的特殊符号?
- CloudTable数据进行删除,导致索引表和数据表不对应查询异常处理办法?
- python通过thrift访问cloudtable,多个任务并行缓慢
- 如何查看HBase shell的TTL属性?
- 服务器资源为什么会被释放?
- 资源停止服务或逾期释放说明
- 哪些场景会影响数据均衡?
- 如何调整数据均衡的灵敏度,调整后有哪些影响?
- Doris集群回收站数据处理
- 连接访问类
- 数据读写类
- 数据导入
- 网络配置
- 计费类
-
通用类
- 文档下载
- 通用参考
本文导读
展开导读
链接复制成功!
样例代码
此章节主要介绍CloudTable Doris冷热分离的使用命令,以及冷数据如何自动存储到obs桶中。
样例代码
- 自动存储冷数据。
- 创建test_tbl1数据表并关联数据迁移策略testPolicy。
创建test_tbl1表并关联数据迁移策略。
CREATE TABLE IF NOT EXISTS test_db.test_tbl1 ( `timestamp` DATETIME NOT NULL COMMENT "日志时间", `type` INT NOT NULL COMMENT "日志类型", `error_code` INT COMMENT "错误码", `error_msg` VARCHAR(1024) COMMENT "错误详细信息", `op_id` BIGINT COMMENT "负责人id", `op_time` DATETIME COMMENT "处理时间" ) DISTRIBUTED BY HASH(`type`) BUCKETS 10 PROPERTIES ( "storage_policy" = "testPolicy", "replication_num" = "3" );
- 每天整点使用Broker Load导入批量数据到test_tbl1表,请参考Broker Load。
创建数据库test_db。
CREATE DATABASE test_db;
使用数据库。
use test_db;
批量导入数据。
LOAD LABEL brokerload_test_csv_label00001 ( DATA INFILE("obs://xxxxx/doris-data/data1/part-m-00002") INTO TABLE `test_tbl1` COLUMNS TERMINATED BY ',' FORMAT AS 'csv' ) WITH BROKER "broker1" ( "fs.obs.access.key" = "xxxxx", "fs.obs.secret.key" = "xxxxx", "fs.obs.endpoint" = "obs.xxx.xxx.com" );
查看数据插入进度。
mysql> show load order by createtime desc limit 1\G; *************************** 1. row *************************** JobId: 18355 Label: brokerload_test_csv_label00001 State: FINISHED Progress: 100.00% (1/1) Type: BROKER EtlInfo: unselected.rows=0; dpp.abnorm.ALL=0; dpp.norm.ALL=9 TaskInfo: cluster:broker1; timeout(s):14400; max_filter_ratio:0.0; priority:NORMAL ErrorMsg: NULL CreateTime: 2024-06-03 09:08:40 EtlStartTime: 2024-06-03 09:08:44 EtlFinishTime: 2024-06-03 09:08:44 LoadStartTime: 2024-06-03 09:08:44 LoadFinishTime: 2024-06-03 09:08:46 URL: NULL JobDetails: {"Unfinished backends":{"67bf44bed68d4d3a-9539b655e550e960":[]},"ScannedRows":9,"TaskNumber":1,"LoadBytes":506,"All backends":{"67bf44bed68d4d3a-9539b655e550e960":[10007]},"FileNumber":1,"FileSize":639} TransactionId: 143 ErrorTablets: {} User: admin Comment: 1 row in set (0.00 sec)
说明:
fs.obs.access.key, fs.obs.secret.key,fs.obs.endpoint获取方式如下所示:
- fs.obs.access.key与fs.obs.secret.key的获取方式请参见对象存储服务的获取访问密钥(AK/SK)章节。
- fs.obs.endpoint的获取方式见请参见对象存储服务的获取终端节点章节。
- 查询插入的数据。
mysql> select * from test_tbl1 limit 10; +---------------------+------+------------+--------------------+--------+---------------------+ | timestamp | type | error_code | error_msg | op_id | op_time | +---------------------+------+------------+--------------------+--------+---------------------+ | 2024-03-12 20:32:00 | 1 | 404 | Resource Not Found | 998756 | 2024-03-12 21:32:00 | | 2024-03-12 22:35:00 | 1 | 404 | Resource Not Found | 998756 | 2024-03-12 23:35:00 | | 2024-03-20 19:35:00 | 1 | 404 | Resource Not Found | 998756 | 2024-03-20 20:35:00 | | 2024-03-21 14:39:00 | 1 | 404 | Resource Not Found | 998756 | 2024-03-21 15:39:00 | | 2024-03-25 11:08:00 | 1 | 404 | Resource Not Found | 998756 | 2024-03-25 12:08:00 | | 2024-03-26 10:33:00 | 1 | 404 | Resource Not Found | 998756 | 2024-03-26 11:33:00 | | 2024-03-26 10:35:00 | 1 | 404 | Resource Not Found | 998756 | 2024-03-26 11:35:00 | | 2024-03-26 10:36:00 | 1 | 404 | Resource Not Found | 998756 | 2024-03-26 11:36:00 | | 2024-03-27 09:10:00 | 1 | 200 | ok | 998756 | 2024-03-27 10:10:00 | +---------------------+------+------------+--------------------+--------+---------------------+ 9 rows in set (0.16 sec)
父主题: 开发Doris冷热分离应用