文件。 创建表时的副本数必须至少为2，默认是3，禁止使用单副本。 没有聚合函数列的表不应该被创建为AGGREGATE表。 创建主键表时需保持主键的列唯一，不建议将所有列都设置为主键列，且主键表需设置value列。主键表不建议用于数据去重场景。 Doris建表建议 单表物化视图不能

查看更多 →

SparkSQL建表参数规范 规则 建表必须指定primaryKey和preCombineField。 Hudi表提供了数据更新的能力和幂等写入的能力，该能力要求数据记录必须设置主键用来识别重复数据和更新操作。不指定主键会导致表丢失数据更新能力，不指定preCombineField会导致主键重复。

查看更多 →

0)字段映射到DWS的SMALLINT。 图1 自动建表的字段映射 CDM 在Hive中自动建表时，Hive表与源表的字段类型映射关系参见表1、表2、表3及表4。例如使用CDM将MySQL整库迁移到Hive，CDM在Hive上自动建表，会将Oracle的YEAR字段映射到Hive的DATE。

查看更多 →

Kafka表开发规范 Kafka表开发规则 Kafka表开发建议 父主题： FlinkSQL Connector开发规范

查看更多 →

0)字段映射到DWS的SMALLINT。 图1 自动建表的字段映射 CDM在Hive中自动建表时，Hive表与源表的字段类型映射关系参见表1、表2、表3及表4。例如使用CDM将MySQL整库迁移到Hive，CDM在Hive上自动建表，会将Oracle的YEAR字段映射到Hive的DATE。

查看更多 →

表设计规范 必须指定表分布（DISTRIBUTE BY），表分布策略选择的原则如下： 目前提供REPLICATION和HASH两种表分布策略。REPLICATION分布会在每个节点保留一份相同的完整的数据表。HASH分布会根据所提供的分布键值将表数据分布到多个节点中。 对于系统配

查看更多 →

数据仓库 华为云数据仓库高级工程师培训 父主题： 培训服务

查看更多 →

Spark表数据维护规范 禁止通过Alter命令修改表关键属性信息：type/primaryKey/preCombineField/hoodie.index.type 错误示例，执行如下语句修改表关键属性： alter table dsrTable set tblproperties('type'='xx');

查看更多 →

ClickHouse表开发规范 ClickHouse表开发规则 ClickHouse表开发建议 父主题： FlinkSQL Connector开发规范

查看更多 →

避免使用分区表，如有需要，可以使用多个独立的表代替。 分区表的缺点： DDL操作需要锁定所有分区，导致所有分区上操作都被阻塞。 当表数据量较大时，对分区表进行DDL或其他运维操作难度大风险高。 分区表使用较少，存在未知风险。 当单台 服务器 性能无法满足时，对分区表进行分拆的成本较高。

查看更多 →

数据仓库 表1 数据仓库权限 权限 对应API接口 授权项（Action） IAM项目 (Project) 企业项目 (Enterprise Project) 获取数据仓库列表 GET /v1.0/{project_id}/common/warehouses octopus:dataWarehouse:list

查看更多 →

数据仓库 获取数据仓库列表信息 获取数据仓库的数据列表 父主题： API

查看更多 →

规范 商家在参与华为云云商店时，必须始终遵守云商店商家合作管理规范，如商家未遵守相关条款或条件，华为云有权采取下架商家产品、终止与商家合作等措施，对华为云造成损失的，华为云有权要求商家赔偿所有损失。 具体的规定和政策见《云商店商家合作管理规范》。

查看更多 →

流式计算采用MOR表。 流式计算为低时延的实时计算，需要高性能的流式读写能力，在Hudi表中存在的MOR和COW两种模型中，MOR表的流式读写性能相对较好，因此在流式计算场景下采用MOR表模型。关于MOR表在读写性能的对比关系如下： 对比维度 MOR表 COW表 流式写 高 低 流式读

查看更多 →

HBase数据表开发规范 HBase数据表开发规则 HBase数据表开发建议 父主题： FlinkSQL Connector开发规范

查看更多 →

Flink流式写Hudi表规范 Flink流式写Hudi表规则 Flink流式写Hudi表建议 父主题： Flink on Hudi开发规范

查看更多 →

获取数据仓库列表信息 功能介绍 获取数据仓库列表 URI GET /v1.0/{project_id}/common/warehouses 表1 路径参数 参数 是否必选 参数类型 描述 project_id 是 String 项目id，获取方法请参见获取项目ID 表2 Query参数

查看更多 →

情请参见表1。 标准数仓（DWS 2.0）本地盘规格，该规格存储容量固定，不能够进行磁盘扩容，只能进行节点扩容，规格详情请参见表2。 步长指在集群变配过程中增大或减小磁盘大小的间隔大小。用户在操作时需要按照对应规格的存储步长来选择。 表1 标准数仓（DWS 2.0）云盘规格 规格名称

查看更多 →

实时数仓（单机部署）中，原有指定分布列语法将被忽略，此外不支持job定时任务、SEQUENCE类型、HDFS/OBS外表导入导出（其中OBS外表导入导出8.2.0及以上版本支持）、多温存储、自增分区表等功能。 DWS 3.0集群仅9.0.2及以上集群版本支持快照功能。

查看更多 →

议使用。 建议 事实表采用日期分区表，维度表采用非分区或者大颗粒度的日期分区 是否采用分区表要根据表的总数据量、增量和使用方式来决定。从表的使用属性看事实表和维度表具有的特点： 事实表：数据总量大，增量大，数据读取多以日期做切分，读取一定时间段的数据。 维度表：总量相对小，增量小

查看更多 →

规则 有数据持续写入的表，24小时内至少执行一次compaction。 对于MOR表，不管是流式写入还是批量写入，需要保证每天至少完成1次Compaction操作。如果长时间不做compaction，Hudi表的log将会越来越大，这必将会出现以下问题： Hudi表读取很慢，且需要很大的资源。

查看更多 →