扩展使用 配置Hive中间过程的数据加密 指定表的格式为RCFile(推荐使用)或SequenceFile，加密算法为ARC4Codec。SequenceFile是Hadoop特有的文件格式，RCFile是Hive优化的文件格式。RCFile优化了列存储，在对大表进行查询时，综合

查看更多 →

扩展使用 配置Hive中间过程的数据加密 指定表的格式为RCFile(推荐使用)或SequenceFile，加密算法为ARC4Codec。SequenceFile是Hadoop特有的文件格式，RCFile是Hive优化的文件格式。RCFile优化了列存储，在对大表进行查询时，综合

查看更多 →

扩展使用 配置Hive中间过程的数据加密 指定表的格式为RCFile(推荐使用)或SequenceFile，加密算法为ARC4Codec。SequenceFile是Hadoop特有的文件格式，RCFile是Hive优化的文件格式。RCFile优化了列存储，在对大表进行查询时，综合

查看更多 →

源仅做参考。 表/文件迁移支持的数据源类型 表/文件迁移可以实现表或文件级别的数据迁移。 表/文件迁移时支持的数据源如表1所示。 表1 表/文件迁移支持的数据源 数据源分类 源端数据源 对应的目的端数据源 说明 数据仓库 数据仓库服务（DWS） 数据仓库：数据仓库服务（DWS）， 数据湖探索 （ DLI ）， MRS

查看更多 →

源仅做参考。 表/文件迁移支持的数据源类型 表/文件迁移可以实现表或文件级别的数据迁移。 表/文件迁移时支持的数据源如表1所示。 表1 表/文件迁移支持的数据源 数据源分类 源端数据源 对应的目的端数据源 说明 数据仓库 数据仓库服务（DWS） 数据仓库：数据仓库服务（DWS）， 数据湖 探索（DLI），MRS

查看更多 →

获取数据仓库列表信息 功能介绍 获取数据仓库列表 URI GET /v1.0/{project_id}/common/warehouses 表1 路径参数 参数 是否必选 参数类型 描述 project_id 是 String 项目id，获取方法请参见获取项目ID 表2 Query参数

查看更多 →

源仅做参考。 表/文件迁移支持的数据源类型 表/文件迁移可以实现表或文件级别的数据迁移。 表/文件迁移时支持的数据源如表1所示。 表1 表/文件迁移支持的数据源 数据源分类 源端数据源 对应的目的端数据源 说明 数据仓库 数据仓库服务（DWS） 数据仓库：数据仓库服务（DWS），数据湖探索（DLI），MRS

查看更多 →

源仅做参考。 表/文件迁移支持的数据源类型 表/文件迁移可以实现表或文件级别的数据迁移。 表/文件迁移时支持的数据源如表1所示。 表1 表/文件迁移支持的数据源 数据源分类 源端数据源 对应的目的端数据源 说明 数据仓库 数据仓库服务（DWS） 数据仓库：数据仓库服务（DWS），数据湖探索（DLI），MRS

查看更多 →

源仅做参考。 表/文件迁移支持的数据源类型 表/文件迁移可以实现表或文件级别的数据迁移。 表/文件迁移时支持的数据源如表1所示。 表1 表/文件迁移支持的数据源 数据源分类 源端数据源 对应的目的端数据源 说明 数据仓库 数据仓库服务（DWS） 数据仓库：数据仓库服务（DWS），数据湖探索（DLI），MRS

查看更多 →

源仅做参考。 表/文件迁移支持的数据源类型 表/文件迁移可以实现表或文件级别的数据迁移。 表/文件迁移时支持的数据源如表1所示。 表1 表/文件迁移支持的数据源 数据源分类 源端数据源 对应的目的端数据源 说明 数据仓库 数据仓库服务（DWS） 数据仓库：数据仓库服务（DWS），数据湖探索（DLI），MRS

查看更多 →

备注1：存算分离表数据存储在OBS上，无需重分布，但是元数据和索引存储在本地，仍然需要进行重分布。存算分离表在重分布时，表只支持读，元数据的重分布时间一般比较短，但是，如果表上创建了索引，索引会影响重分布的性能，重分布完成时间与索引的数据量成正比关系，在此期间，表只支持读。 存算

查看更多 →

，规格详情请参见表5。 存算分离本地盘规格，该规格存储容量固定，不能够进行磁盘扩容和规格变更，只能进行节点扩容，规格详情请参见表6。 创建存算分离集群时规格仅显示后半部分（例如4U16G.4DPU），下列规格列表中前缀（dwsx3/dwsax3/dwsk3）代表存算分离对应的CPU架构。

查看更多 →

查询Hudi表对应的Hive外部表 使用Hive对Hudi表进行增量查询前，需要设置表1的3个参数，这3个参数是表级别的参数，每个Hudi源表都对应3个参数，其中hudisourcetablename表示Hudi源表的表名（注意不是Hive外部表的表名），需根据实际情况进行修改。 表1 参数说明 参数名

查看更多 →

ALM-16001 Hive数据仓库空间使用率超过阈值 告警解释 系统每30秒周期性检测Hive数据仓库空间使用率，该指标可在Hive服务监控界面查看，指标名称为“Hive已经使用的HDFS空间占可使用空间的百分比”。Hive数据仓库空间使用率指标默认提供一个阈值范围（85%），

查看更多 →

获取数据仓库的数据列表 功能介绍 获取数据仓库的数据列表 URI POST /v1.0/{project_id}/common/warehouses/{data_warehouse_id}/data 表1 路径参数 参数 是否必选 参数类型 描述 project_id 是 String

查看更多 →

云平台基础架构设施及环境的设计与搭建 实施所需的通信基础架构和组件 服务内容 服务内容 服务说明 华为云数据仓库产品咨询服务 理解客户业务需求，结合客户需求场景分析结果，提供华为云数据仓库产品及解决方案咨询服务。 华为云数据仓库平台安装部署规划与实施 提供华为云数据仓库软件组网规划、安装、配置与调测服务。

查看更多 →

配置Hive表分区动态覆盖 配置场景 在旧版本中，使用insert overwrite语法覆写分区表时，只支持对指定的分区表达式进行匹配，未指定表达式的分区将被全部删除。在spark2.3版本中，增加了对未指定表达式的分区动态匹配的支持，此种语法与Hive的动态分区匹配语法行为一致。

查看更多 →

为什么创建Hive表失败？ 问题 为什么创建Hive表失败？ 回答 当源表或子查询具有大数据量的Partition时，创建Hive表失败。执行查询需要很多的task，此时输出的文件数就会很多，从而导致driver OOM。 可以在创建Hive表的语句中增加distribute b

查看更多 →

保留原有数据，将新数据追加到表中 LOAD DATA INPATH '/user/hive_examples_data/employee_info.txt' INTO TABLE employees_info; 加载数据的实质是将数据复制到HDFS上指定表的目录下。 样例数据 表employees_info的数据如下：

查看更多 →

Load数据到Hive表失败 问题背景与现象 用户在建表成功后，通过Load命令往此表导入数据，但导入操作中遇到如下问题： ....... > LOAD DATA INPATH '/user/tester1/hive-data/data.txt' INTO TABLE employees_info;

查看更多 →

表导入到指定的表中，需注意以下两点： 如果目标集群上不存在与指定的表名相同的表，在导入表的过程中会创建该表。 如果目标集群上已存在与指定的表名相同的表，该表对应的HDFS目录下必须为空，否则导入失败。 “haclusterX”为新增的自定义参数“dfs.namenode.rpc-address

查看更多 →