ETL Job 功能 通过ETL Job节点可以从指定数据源中抽取数据，经过数据准备对数据预处理后，导入到目标数据源。 目标端是DWS的ETL Job节点，不支持使用委托进行调度，建议采用兼容性更佳的公共IAM账号方式进行调度，详见配置调度身份。 参数 用户可参考表1，表2和表3配置ETL

查看更多 →

ETL映射设计 ETL映射设计用于将数据从源系统抽取出来，经过清洗、转换、加载等一系列操作后，将数据加载到目标系统的过程。解决方案工作台支持SDI、DWI和DWR层物理表、支持多种数据库、支持生成脚本等。 新建ETL映射 图1 新建ETL映射 参数 说明 映射名称 自定义 数据库数据类型

查看更多 →

按照传统的定义，元数据（Metadata）是关于数据的数据。元数据打通了源数据、 数据仓库 、数据应用，记录了数据从产生到消费的全过程。元数据主要记录数据仓库中模型的定义、各层级间的映射关系、监控数据仓库的数据状态及ETL的任务运行状态。在数据仓库系统中，元数据可以帮助数据仓库管理员和开发人员非常方便地找到其所关心的数据

查看更多 →

添加实施作业 配置ETL Mapping。 实施作业名称：自定义； 关联需求：可选，可与新建项目时的相关需求关联起来，关联后该ETL作业将会自动在实施进度管理中展示； ETL Mapping名称：选择配置好的ETL映射； DataArts Studio 目录：选填需要将该ETL映射同步至DataArts

查看更多 →

找和维护模型，提高工作效率。 创建逻辑模型：在物理模型开发之前，通常需要先创建逻辑模型。逻辑模型是基于业务需求和数据分析结果设计的模型，它描述了数据之间的关系和业务规则。逻辑模型可以使用实体关系图（ER图）或其他建模工具进行设计和表示。在创建逻辑模型时，需要考虑数据的实体、属性、关系和约束等。

查看更多 →

数据仓库 华为云数据仓库高级工程师培训 父主题： 培训服务

查看更多 →

数据仓库 表1 数据仓库权限 权限 对应API接口 授权项（Action） IAM项目 (Project) 企业项目 (Enterprise Project) 获取数据仓库列表 GET /v1.0/{project_id}/common/warehouses octopus:dataWarehouse:list

查看更多 →

数据仓库 获取数据仓库列表信息 获取数据仓库的数据列表 父主题： API

查看更多 →

高效的Spark编程模型：使用Spark Streaming直接从DIS中获取数据，进行数据清理等预处理操作。只需编写处理逻辑，无需关心多线程模型。 简单易用：直接使用标准SQL编写指标分析逻辑，无需关注背后复杂的分布式计算平台。 按需计费： 日志分析 按实效性要求按周期进行调度，每次调度之间存在大量

查看更多 →

应用场景 数据仓库迁移 数据仓库是企业的重要数据分析系统，随着业务量的增长，自建数仓性能逐渐不能满足实际要求，同时扩展性差、成本高，导致扩容极为困难。DWS作为云上企业级数据仓库，具备高性能、低成本、易扩展等特性，满足大数据时代企业数据仓库业务诉求。 图1 数据仓库迁移 优势 平滑迁移

查看更多 →

数据仓库规格 GaussDB (DWS)的规格按照产品类型分为标准数仓、实时数仓和IoT数仓。其中实时数仓还包含单机版模式。各产品类型的不同差异，详情请参见数据仓库类型。 标准数仓（DWS 2.0）规格 标准数仓（DWS 2.0）云盘规格，该规格弹性伸缩，无限算力、无限容量，规格详情请参见表1。

查看更多 →

数据仓库类型 产品类型概述 标准数仓（DWS 2.0）：面向数据分析场景，为用户提供高性能、高扩展、高可靠、高安全、易运维的企业级数仓服务，支持2048节点、20PB级超大规模数据分析能力。支持冷热数据分析，存储、计算弹性伸缩，并按需、按量计价，为用户提供弹性灵活、极致性价比的体

查看更多 →

。 图10 主题设计 逻辑模型设计 逻辑模型是对描述同一特征的属性集合，指导IT系统开发与系统数据集成。本实践需要对目标系统进行建模。 新建逻辑模型。 图11 新建逻辑模型 进入创建好的逻辑模型，选择业务对象新建逻辑实体。 图12 新建逻辑实体 配置该逻辑实体的基本信息和属性。 图13

查看更多 →

优势 高效的Spark编程模型：使用 DLI 直接从DIS中获取数据，进行数据清理等预处理操作。只需编写处理逻辑，无需关心多线程模型。 简单易用：直接使用标准SQL编写指标分析逻辑，无需关注背后复杂的分布式计算平台。 按需计费：日志分析按时效性要求按周期进行调度，每次调度之间存在大量

查看更多 →

当前模型工程所有逻辑模型图中的逻辑元素。 逻辑元素定义：“工程设置>元素构造型”下，绑定到4+1视图：逻辑模型的基础构造型与自定义构造型元素以及逻辑模型架构方案配置的构造型。 包括：在逻辑模型图上创建出来的逻辑元素，引用到逻辑模型中的逻辑元素（包含关联空间中的引用的逻辑元素）。 如何检查

查看更多 →

标数据库解析逻辑日志以实时进行数据复制。具体如图 逻辑复制所示。逻辑复制降低了对目标数据库的形态限制，支持异构数据库、同构异形数据库对数据的同步，支持目标库进行数据同步期间的数据可读写，数据同步时延低。 图1 逻辑复制 逻辑复制由两部分组成：逻辑解码和数据复制。逻辑解码会输出以事

查看更多 →

逻辑复制 逻辑解码

查看更多 →

单击逻辑场景名称后操作栏内的“ 删除”，删除该场景。 勾选多个逻辑场景前勾选框，单击场景列表上方的“删除”，可批量删除场景。 说明： 被任务使用的逻辑场景不可被删除。 编辑逻辑场景 单击操作栏中的“编辑”，可编辑逻辑场景基本信息。 查看逻辑场景详情 单击逻辑场景名称，可查看逻辑场景详情。 基本信息：场景名称、创建时间，解析状态等信息。

查看更多 →

范步骤为准。 创建0层逻辑模型图。 工程初始化创建时会在“逻辑视图>逻辑模型”包目录下默认创建一个逻辑模型图，可当作0层逻辑模型，如果是非初始化结构建目录 ，则选择要创建图的包节点 ，单击包后的菜单，选择“新建图”。 图类型选择“4+1视图>逻辑视图>逻辑模型”，输入图名称，单击保存即可。

查看更多 →

逻辑集群 GS_271180008 错误码： database locale is incompatible with operating system. 解决方案：使用其他语言环境重新创建数据库或安装缺失的语言环境。 level： FATAL

查看更多 →

逻辑复制 GS_152150028 错误码： permission denied to change owner of publication %s. 解决方案：FOR ALL TABLES发布的owner必须是系统管理员。 level： ERROR GS_152150029 错误码：

查看更多 →