欢迎使用 数据仓库 服务 GaussDB (DWS)。数据仓库服务是完全托管的企业级云上数据仓库服务，具备免运维、在线扩展、高效的多源数据加载能力，兼容PostgreSQL生态，并助力企业经济高效地对海量数据进行在线分析，实现数据快速变现。 您可以使用本文档提供的API对数据仓库服务的集

查看更多 →

适用于数据仓库服务（DWS）的最佳实践 该示例模板中对应的合规规则的说明如下表所示： 表1 合规包示例模板说明 合规规则 规则中文名称 涉及云服务 规则描述 dws-clusters-no-public-ip DWS集群未绑定弹性公网IP dws DWS集群绑定弹性公网IP，视为“不合规”

查看更多 →

bin/spark-submit --master yarn --deploy-mode client /opt/female/SparkSQLPythonExample/SparkSQLPythonExample.py <inputPath> 其中，<inputPath>指HDFS文件系统中input的路径

查看更多 →

创建脚本 功能介绍 创建一个新脚本，当前支持的脚本类型有 DLI SQL、Flink SQL、RDS SQL、Spark SQL、Hive SQL、DWS SQL、Shell、Presto SQL、ClickHouse SQL、HetuEngine SQL、Python、Spark

查看更多 →

户。 准备工作 创建集群 - 在使用GaussDB(DWS)执行数据分析任务前，您首先要创建一个集群。一个GaussDB(DWS)集群由多个在相同子网中的节点组成，共同提供服务。创建集群时，系统会创建一个默认数据库。 创建GaussDB(DWS)存算一体集群 创建GaussDB(DWS)存算分离集群

查看更多 →

华为云数据仓库高级工程师培训 培训简介 智能数据时代，数据库产业技术趋势发生着显著变化，早期数据库产品形态从单机到集群、一体机，当前已经向分布式、云化、智能化演进。面对这些变化趋势及市场机遇，华为云专为打造了云化分布式数据仓库高级工程师培训，旨在培养掌握分布式数据仓库知识体系，熟

查看更多 →

数据表设计 数据源分析：主要分析数据仓库的数据如何满足集市的需要，即确定需要数据仓库的那些表数据，如果数据仓库没有，则需要数据仓库进行数据补充 数据仓库表与目标表字段进行映射，确定加工规则 验证数据并调整加工规则 实施步骤 根据设计好的目标表，创建DM层物理表 基于两张汇总表进行逻辑开发和字段映射

查看更多 →

Spark客户端和服务端权限参数配置说明 SparkSQL权限管理功能相关的配置如下所示，客户端与服务端的配置相同。要使用表权限功能，需要在服务端和客户端添加如下配置。 “spark-defaults.conf”配置文件 表1 参数说明（1） 参数 描述 默认值 spark.sql

查看更多 →

2h 安全管理 权限管理 通过实验创建不同用户，不同Schema，基于权限管理实现数据的隔离和互访，了解用户、角色的关系，了解grant的基本用法，了解基于角色的权限管理(RBAC)。 1.5h 使用数据脱敏实现卡号等隐私信息屏蔽 本实验通过创建数据仓库服务GaussDB(DWS)并

查看更多 →

当表名为table时，执行相关操作时出现异常 问题 当创建了表名为table的表后，执行drop table table上报以下错误。 或者执行其他操作也会出现类似错误。 16/07/12 18:56:29 ERROR SparkSQLDriver: Failed in [drop table

查看更多 →

数据开发，左侧列表选择“数据开发 > 脚本开发”。在脚本的目录树上，可以查看到当前已经创建的目录，默认在根目录/。 connectionName 否 String 脚本关联的连接名称。当type参数值为DLISQL、SparkSQL、HiveSQL、DWSSQL、Shell、PRESTO、Click

查看更多 →

DWS快照是否与EVS快照功能相同？ 数据仓库服务的快照功能与云硬盘快照不同。 数据仓库服务的快照针对DWS集群的所有配置数据和业务数据，用于还原创建快照时的集群数据；云硬盘快照是针对于 云服务器 的数据盘或者系统盘的某个时段的业务数据。 DWS快照 数据仓库服务快照是对DWS集群在某一时间

查看更多 →

SQL样例程序（Python） 功能简介 统计日志文件中本周末网购停留总时间超过2个小时的女性网民信息。 代码样例 下面代码片段仅为演示，具体代码参见SparkSQLPythonExample： # -*- coding:utf-8 -*- import sys from pyspark.sql

查看更多 →

SQL样例程序（Python） 功能简介 统计日志文件中本周末网购停留总时间超过2个小时的女性网民信息。 代码样例 下面代码片段仅为演示，具体代码参见SparkSQLPythonExample： # -*- coding:utf-8 -*- import sys from pyspark.sql

查看更多 →

关于上述任务的详细指导，请参见《数据仓库服务快速入门》。 阅读指引 对于首次接触 GaussDB(DWS)的用户，建议先阅读以下部分： 介绍GaussDB(DWS)服务的特点、功能和适用场景。 GaussDB(DWS)入门包含一个示例，引导您完成创建数据仓库集群、创建数据库表、上传数据和测试查询这一过程。

查看更多 →

WarehouseDataFilters object 当data_id字段的取值为数据仓库id时，本结构体配置数据仓库输入数据筛选条件 warehouse_id 否 String 输出到数据仓库的id。当算子类型为数据标记、数据集、数据图表和回放仿真时必填 envs 否 Array

查看更多 →

数据开发，左侧列表选择“数据开发 > 脚本开发”。在脚本的目录树上，可以查看到当前已经创建的目录，默认在根目录/。 connectionName 否 String 脚本关联的连接名称。当type参数值为DLISQL、SparkSQL、HiveSQL、DWSSQL、Shell、PRESTO、Click

查看更多 →

SQL样例程序（Python） 功能简介 统计日志文件中本周末网购停留总时间超过2个小时的女性网民信息。 代码样例 下面代码片段仅为演示，具体代码参见SparkSQLPythonExample： # -*- coding:utf-8 -*- import sys from pyspark.sql

查看更多 →

SQL样例程序（Python） 功能简介 统计日志文件中本周末网购停留总时间超过2个小时的女性网民信息。 代码样例 下面代码片段仅为演示，具体代码参见SparkSQLPythonExample： # -*- coding:utf-8 -*- import sys from pyspark.sql

查看更多 →

当表名为table时，执行相关操作时出现异常 问题 当创建了表名为table的表后，执行drop table table上报以下错误，或者执行其他操作也会出现类似错误。 16/07/12 18:56:29 ERROR SparkSQLDriver: Failed in [drop table

查看更多 →

分钟，便可完成海量数据查询数据仓库的搭建，简单轻松地完成对数据的实时查询分析，提升数据价值挖掘的整体效率。云数据仓库ClickHouse是一种基于MPP（大规模并行处理）架构的数仓服务，基于ClickHouse优异的查询性能，查询效率数倍于传统数据仓库。 ClickHouse集群管理功能

查看更多 →