必须保证HDFS分区外表指定分区列的顺序和HDFS数据中分区目录定义的顺序一致，该功能只适用于只读外表，只写外表不支持。 HDFS的只读和只写外表都支持分区表，但是只写外表只支持一级分区，不支持多级分区。 OBS只读外表支持分区表，OBS只写外表不支持分区表。 不支持浮点类型和布尔类型的列作为分区列。

查看更多 →

注意事项 HDFS外表与OBS外表分为只读外表和只写外表，只读外表用于查询操作，只写外表可以将 GaussDB (DWS)中的数据导出到分布式文件系统中。 此方式支持ORC、TEXT、 CS V、CARBONDATA、PARQUET和JSON格式的导入查询，OBS外表支持ORC、CSV和

查看更多 →

请参考修改集群服务配置参数，进入HDFS的“全部配置”页面，在搜索框中输入参数名称。 表1 参数说明 参数 描述 默认值 hadoop.rpc.protection 须知： 设置后需要重启服务生效，且不支持滚动重启。 设置后需要重新下载客户端配置，否则HDFS无法提供读写服务。 设置Hadoop中各模块的RPC通道是否加密。通道包括：

查看更多 →

数据仓库 服务 DWS DWS集群启用KMS加密 DWS集群启用日志转储 DWS集群启用自动快照 DWS集群启用SSL加密连接 DWS集群未绑定弹性公网IP DWS集群运维时间窗检查 DWS集群VPC检查 父主题： 系统内置预设策略

查看更多 →

光大银行基于DWS创新实践 数据仓库服务 GaussDB(DWS) 使用外表从远端DWS导入数据 09:47 使用外表从远端DWS导入数据 数据仓库服务 GaussDB(DWS) 交通卡口车辆分析演示 04:48 数据仓库服务交通卡口车辆分析 数据仓库服务 GaussDB(DWS)

查看更多 →

Hadoop压力测试工具如何获取？ 问： Hadoop压力测试工具如何获取？ 答： Hadoop压力测试工具社区获取地址：https://github.com/Intel-bigdata/HiBench。 父主题： 性能优化类

查看更多 →

测试方法 总体流程 创建 弹性云服务器 ECS和数据仓库GaussDB(DWS) 构建TPC-H&TPC-DS使用数据 建表与数据导入 执行查询与结果收集

查看更多 →

Hive应用开发简介 Hive简介 Hive是一个开源的，建立在Hadoop上的数据仓库框架，提供类似SQL的HiveQL语言操作结构化数据，其基本原理是将HiveQL语言自动转换成MapReduce任务或Spark任务，从而完成对Hadoop集群中存储的海量数据进行查询和分析。 Hive主要特点如下：

查看更多 →

WebUI，如：flinkuser。 配置FlinkServer对接数据仓库服务DWS步骤 在数据仓库服务(DWS)已创建接收数据的空表，如表"dws_test"。 使用flinkuser登录Manager，选择“集群 > 服务 > Flink”，在“Flink WebUI”右侧，单击链接，访问Flink的WebUI。

查看更多 →

Hive应用开发简介 Hive简介 Hive是一个开源的，建立在Hadoop上的数据仓库框架，提供类似SQL的HQL语言操作结构化数据，其基本原理是将HQL语言自动转换成MapReduce任务或Spark任务，从而完成对Hadoop集群中存储的海量数据进行查询和分析。 Hive主要特点如下：

查看更多 →

Segment，即数据文件，通常每张表只对应一个数据文件。如果某张表的数据大于1GB，则会分为多个数据文件存储。 Table，即表，每张表只能属于一个数据库。 Block，即数据块，是数据库管理的基本单位，默认大小为8KB。 数据有三种分布方式，可以在建表的时候指定：REPLICATION、ROUNDROBIN

查看更多 →

et/warehouse/hive</value> </property> 可选配置，当添加了上述配置后在创建Hive表时将不用再显示指定location，创建的Hive表将自动落在OBS上。 执行以下命令，初始化元数据。 /opt/hive-2.3.3/bin/schematool

查看更多 →

环境，快速上手。 开发者可通过表1实验手册指导，使用环境中预置的华为云账号，一键创建GaussDB(DWS)实验环境，在云端体验GaussDB(DWS)的数据导入、访问 MRS 集群、多维度分析、权限管理、JDBC开发、性能调优等场景。 表1 实验列表 场景 实验名称 实验描述 预计时长

查看更多 →

W，经典VW允许建表。 VW之间资源隔离，实现业务之间互不影响。 VW之间数据实时共享。 固定VW的大小在MPP架构下决定了单SQL性能上限。 固定VW适合承载实时接入、实时加工等稳定负载/低时延作业，根据业务变化提前规划大小。 通过弹性VW实现并发扩展： VW在高并发场景下业务

查看更多 →

CDM 迁移数据到DWS时如何选取分布列？ 问题描述 CDM迁移数据到DWS时如何选取分布列？ 解决方案 在使用CDM迁移数据到数据仓库服务（DWS）或者 FusionInsight LibrA，且CDM在DWS端自动创建一个新表时，在创建作业的字段映射界面，需要选择分布列，如图1所示。 图1 选取分布列 由于

查看更多 →

CDM迁移数据到DWS时如何选取分布列？ 问题描述 CDM迁移数据到DWS时如何选取分布列？ 解决方案 在使用CDM迁移数据到数据仓库服务（DWS）或者FusionInsight LibrA，且CDM在DWS端自动创建一个新表时，在创建作业的字段映射界面，需要选择分布列，如图1所示。 图1 选取分布列 由于

查看更多 →

Service，简称 CTS ）审计用户在管理控制台页面的非查询操作，可用于检视是否存在非法或越权操作，完善服务安全管理。 与云日志服务的关系 数据仓库服务用户可以在云日志服务（Log Tank Service，简称LTS）查看采集的集群日志或进行日志转储。 与消息通知服务的关系 数据仓库服务使用消息通知服务（Simple

查看更多 →

Hive应用开发简介 Hive简介 Hive是一个开源的，建立在Hadoop上的数据仓库框架，提供类似SQL的HQL语言操作结构化数据，其基本原理是将HQL语言自动转换成Mapreduce任务或Spark任务，从而完成对Hadoop集群中存储的海量数据进行查询和分析。 Hive主要特点如下：

查看更多 →

数据仓库自定义属性 表1 数据仓库自定义属性权限 权限 对应API接口 授权项（Action） IAM项目 (Project) 企业项目 (Enterprise Project) 获取数据仓库自定义属性列表 GET /v1.0/{project_id}/common/wareho

查看更多 →

资源类型列中必需资源在表中用星号（*）标识，表示使用此操作必须指定该资源类型。 关于GaussDB(DWS)定义的资源类型的详细信息请参见资源类型（Resource）。 “条件键”列包括了可以在SCP语句的Condition元素中支持指定的键值。 如果该授权项资源类型列存在值，则表示条件键仅对列举的资源类型生效。

查看更多 →

数据仓库优化与支持服务 产品介绍 常见问题 计费说明 父主题： 优化与提升

查看更多 →