开发SQL脚本 数据开发支持对SQL脚本进行在线开发、调试和执行，开发完成的脚本可以在作业中调度运行（请参见开发Pipeline作业）。 数据开发模块支持如下类型SQL脚本。而不同数据源的SQL语法有所差异，开发SQL语句前请预先了解各数据源的语法规则。 DLI SQL脚本：请参见SQL语法参考。

查看更多 →

数据仓库 华为云数据仓库高级工程师培训 父主题： 培训服务

查看更多 →

数据仓库 表1 数据仓库权限 权限 对应API接口 授权项（Action） IAM项目 (Project) 企业项目 (Enterprise Project) 获取数据仓库列表 GET /v1.0/{project_id}/common/warehouses octopus:dataWarehouse:list

查看更多 →

数据仓库 获取数据仓库列表信息 获取数据仓库的数据列表 父主题： API

查看更多 →

GaussDB (DWS) SQL进阶及应用开发 01:53:55 数据仓库服务SQL进阶及应用开发 数据仓库服务 GaussDB(DWS) 数据库对象设计 01:09:09 数据仓库服务数据库对象设计 数据仓库服务 GaussDB(DWS) 安全与权限设计 52:51 数据仓库服务安全与权限设计

查看更多 →

Flink SQL逻辑开发规范 Flink SQL逻辑开发规则 Flink SQL逻辑开发建议 父主题： Flink应用开发规范

查看更多 →

数据仓库规格 GaussDB(DWS)的规格按照产品类型分为标准数仓、实时数仓和IoT数仓。其中实时数仓还包含单机版模式。各产品类型的不同差异，详情请参见数据仓库类型。 标准数仓（DWS 2.0）规格 标准数仓（DWS 2.0）云盘规格，该规格弹性伸缩，无限算力、无限容量，规格详情请参见表1。

查看更多 →

数据仓库类型 产品类型概述 标准数仓（DWS 2.0）：面向数据分析场景，为用户提供高性能、高扩展、高可靠、高安全、易运维的企业级数仓服务，支持2048节点、20PB级超大规模数据分析能力。支持冷热数据分析，存储、计算弹性伸缩，并按需、按量计价，为用户提供弹性灵活、极致性价比的体

查看更多 →

Flink SQL逻辑开发规则 维表lookup join场景维度表个数不超过五个 Hudi维度表都在TM heap中，当维表过多时heap中保存的维表数据过多，TM会不断GC，导致作业性能下降。 【示例】lookup join维表数5个： CREATE TABLE table1(id

查看更多 →

Flink SQL逻辑开发建议 在aggregate和join等操作前将数据过滤来减少计算的数据量 提前过滤可以减少在shuffle阶段前的数据量，减少网络IO，从而提升查询效率。 比如在表join前先过滤数据比在ON和WHERE时过滤可以有效较少join数据量。因为执行顺序从发

查看更多 →

FlinkSQL Connector开发规范 ClickHouse表开发规范 Doris数据表开发规范 Kafka表开发规范 HBase数据表开发规范 父主题： Flink应用开发规范

查看更多 →

SQL作业开发指南 使用Spark SQL作业分析OBS数据 在Spark SQL作业中使用UDF 在Spark SQL作业中使用UDTF 在Spark SQL作业中使用UDAF 使用JDBC提交Spark SQL作业

查看更多 →

技术支持 数据仓库服务GaussDB(DWS)是一种基于华为云基础架构和平台的在线数据分析处理数据库，提供即开即用、可扩展且完全托管的分析型数据库服务，兼容ANSI/ISO标准的SQL92、SQL99和SQL 2003语法，同时兼容PostgreSQL/Oracle/Terada

查看更多 →

热门案例 数据库、数据仓库、 数据湖 、湖仓一体分别是什么？ 无法成功创建数据仓库集群时怎么处理？ 数据仓库和Hadoop大数据平台有什么差别？ 无法连接数据仓库集群时怎么处理？ 可以通过SSH访问DWS集群的节点吗？ 如何选择公有云DWS或者公有云RDS？ 数据在数据仓库服务中是否安全？

查看更多 →

双方达成一致的业务保障目标，客户完成服务付款。 服务范围 本项目华为云数据仓库专家服务包括以下一项或多项内容： 华为云数据仓库产品咨询服务 华为云数据仓库平台安装部署规划与实施 数据仓库迁移方案设计与实施支持 基于华为云数据仓库平台的开发支持 本项目华为云数据仓库专家服务不包括以下内容： 应用程序改造、应用程序设计、数据库逻辑结构设计

查看更多 →

快速开始使用GaussDB(DWS)。 首先，按照《数据仓库服务快速入门》中的步骤快速部署集群、连接到数据库并尝试进行一些查询。 准备好构建数据库后，将数据加载到表中并编写查询内容以操作数据仓库中的数据后，可以回到《数据仓库服务数据库开发指南》。 了解GaussDB(DWS)数据仓库的内部架构。 如果您想要

查看更多 →

快速开始使用GaussDB(DWS)。 首先，按照《数据仓库服务快速入门》中的步骤快速部署集群、连接到数据库并尝试进行一些查询。 准备好构建数据库后，将数据加载到表中并编写查询内容以操作数据仓库中的数据后，可以回到《数据仓库服务数据库开发指南》。 了解GaussDB(DWS)数据仓库的内部架构。 如果您想要

查看更多 →

Spark SQL样例程序开发思路 场景说明 假定用户有某个周末网民网购停留时间的日志文本，基于某些业务要求，要求开发Spark应用程序实现如下功能： 统计日志文件中本周末网购停留总时间超过2个小时的女性网民信息。 周末两天的日志文件第一列为姓名，第二列为性别，第三列为本次停留时间，单位为分钟，分隔符为“

查看更多 →

Spark SQL样例程序开发思路 场景说明 假定用户有某个周末网民网购停留时间的日志文本，基于某些业务要求，要求开发Spark应用程序实现如下功能： 统计日志文件中本周末网购停留总时间超过2个小时的女性网民信息。 周末两天的日志文件第一列为姓名，第二列为性别，第三列为本次停留时间，单位为分钟，分隔符为“

查看更多 →

SQL编辑器开发工具 概述 使用SQL编辑器连接集群 数据开发操作 数据开发设置

查看更多 →

Connectivity）等标准接口开发应用程序访问GaussDB(DWS) 集群中的数据库。 详细内容请参见使用JDBC连接数集群、使用ODBC连接数集群。 psycopg2、PyGreSQL第三方驱动程序 用户在创建好数据仓库集群后使用psycopg2、PyGreSQL第三方库连接到集群，则

查看更多 →