Kafka表开发规范 Kafka表开发规则 Kafka表开发建议 父主题： FlinkSQL Connector开发规范

查看更多 →

文件。 创建表时的副本数必须至少为2，默认是3，禁止使用单副本。 没有聚合函数列的表不应该被创建为AGGREGATE表。 创建主键表时需保持主键的列唯一，不建议将所有列都设置为主键列，且主键表需设置value列。主键表不建议用于数据去重场景。 Doris建表建议 单表物化视图不能

查看更多 →

表设计规范 必须指定表分布（DISTRIBUTE BY），表分布策略选择的原则如下： 目前提供REPLICATION和HASH两种表分布策略。REPLICATION分布会在每个节点保留一份相同的完整的数据表。HASH分布会根据所提供的分布键值将表数据分布到多个节点中。 对于系统配

查看更多 →

Spark表数据维护规范 禁止通过Alter命令修改表关键属性信息：type/primaryKey/preCombineField/hoodie.index.type 错误示例，执行如下语句修改表关键属性： alter table dsrTable set tblproperties('type'='xx');

查看更多 →

ClickHouse表开发规范 ClickHouse表开发规则 ClickHouse表开发建议 父主题： FlinkSQL Connector开发规范

查看更多 →

避免使用分区表，如有需要，可以使用多个独立的表代替。 分区表的缺点： DDL操作需要锁定所有分区，导致所有分区上操作都被阻塞。 当表数据量较大时，对分区表进行DDL或其他运维操作难度大风险高。 分区表使用较少，存在未知风险。 当单台 服务器 性能无法满足时，对分区表进行分拆的成本较高。

查看更多 →

数据仓库 华为云数据仓库高级工程师培训 父主题： 培训服务

查看更多 →

数据仓库 表1 数据仓库权限 权限 对应API接口 授权项（Action） IAM项目 (Project) 企业项目 (Enterprise Project) 获取数据仓库列表 GET /v1.0/{project_id}/common/warehouses octopus:dataWarehouse:list

查看更多 →

数据仓库 获取数据仓库列表信息 获取数据仓库的数据列表 父主题： API

查看更多 →

规范 商家在参与华为云云商店时，必须始终遵守云商店商家合作管理规范，如商家未遵守相关条款或条件，华为云有权采取下架商家产品、终止与商家合作等措施，对华为云造成损失的，华为云有权要求商家赔偿所有损失。 具体的规定和政策见《云商店商家合作管理规范》。

查看更多 →

获取数据仓库列表信息 功能介绍 获取数据仓库列表 URI GET /v1.0/{project_id}/common/warehouses 表1 路径参数 参数 是否必选 参数类型 描述 project_id 是 String 项目id，获取方法请参见获取项目ID 表2 Query参数

查看更多 →

批量写 高 低 批量读 低 高 实时入湖，表模型采用MOR表。 实时入湖一般的性能要求都在分钟内或者分钟级，结合Hudi两种表模型的对比，因此在实时入湖场景中需要选择MOR表模型。 Hudi表名以及列名采用小写字母。 多引擎读写同一张Hudi表时，为了规避引擎之间大小写的支持不同，统一采用小写字母。

查看更多 →

HBase数据表开发规范 HBase数据表开发规则 HBase数据表开发建议 父主题： FlinkSQL Connector开发规范

查看更多 →

Flink流式写Hudi表规范 Flink流式写Hudi表规则 Flink流式写Hudi表建议 父主题： Flink on Hudi开发规范

查看更多 →

议使用。 建议 事实表采用日期分区表，维度表采用非分区或者大颗粒度的日期分区 是否采用分区表要根据表的总数据量、增量和使用方式来决定。从表的使用属性看事实表和维度表具有的特点： 事实表：数据总量大，增量大，数据读取多以日期做切分，读取一定时间段的数据。 维度表：总量相对小，增量小

查看更多 →

规则 有数据持续写入的表，24小时内至少执行一次compaction。 对于MOR表，不管是流式写入还是批量写入，需要保证每天至少完成1次Compaction操作。如果长时间不做compaction，Hudi表的log将会越来越大，这必将会出现以下问题： Hudi表读取很慢，且需要很大的资源。

查看更多 →

Hudi数据表Clean规范 Clean也是Hudi表的维护操作之一，该操作对于MOR表和COW表都需要执行。Clean操作的目的是为了清理旧版本文件（Hudi不再使用的数据文件），这不但可以节省Hudi表List过程的时间，也可以缓解存储压力。 规则 Hudi表必须执行Clean。

查看更多 →

Doris数据表开发规范 Doris数据表开发规则 父主题： FlinkSQL Connector开发规范

查看更多 →

Flink流式读Hudi表规范 Flink流式读Hudi表规则 Flink流式读Hudi表建议 父主题： Flink on Hudi开发规范

查看更多 →

Hudi表索引设计规范 规则 禁止修改表索引类型。 Hudi表的索引会决定数据存储方式，随意修改索引类型会导致表中已有的存量数据与新增数据之间出现数据重复和数据准确性问题。常见的索引类型如下： 布隆索引：Spark引擎独有索引，采用bloomfiter机制，将布隆索引内容写入到Parquet文件的footer中。

查看更多 →

情请参见表1。 标准数仓（DWS 2.0）本地盘规格，该规格存储容量固定，不能够进行磁盘扩容，只能进行节点扩容，规格详情请参见表2。 步长指在集群变配过程中增大或减小磁盘大小的间隔大小。用户在操作时需要按照对应规格的存储步长来选择。 表1 标准数仓（DWS 2.0）云盘规格 规格名称

查看更多 →