ETL Job 功能 通过ETL Job节点可以从指定数据源中抽取数据，经过数据准备对数据预处理后，导入到目标数据源。 目标端是DWS的ETL Job节点，不支持使用委托进行调度，建议采用兼容性更佳的公共IAM账号方式进行调度，详见配置调度身份。 参数 用户可参考表1，表2和表3配置ETL

查看更多 →

支持DWS、 MRS _HIVE、MRS_SPARK，与物理模型数据类型一致 映射方式 INSERT：插入数据 MERGE：加载数据时，插入目标表中不存在的数据，更新目标表中存在的数据 源模型 需要进行ETL映射的源端物理模型，需要在物理模型设计中先完成设计 目标模型 需要进行ETL映射的目标端物理模型，需要在物理模型设计中先完成设计

查看更多 →

添加实施作业 配置ETL Mapping。 实施作业名称：自定义； 关联需求：可选，可与新建项目时的相关需求关联起来，关联后该ETL作业将会自动在实施进度管理中展示； ETL Mapping名称：选择配置好的ETL映射； DataArts Studio 目录：选填需要将该ETL映射同步至DataArts

查看更多 →

元数据按用途的不同，可以分为两类：技术元数据（Technical Metadata）和业务元数据（Business Metadata）。 技术元数据是存储关于 数据仓库 系统技术细节的数据，是用于开发和管理数据仓库使用的数据。在DataArts Studio中，技术元数据即为技术资产，显示数据库、数据表、数据量的数量及其详情。

查看更多 →

数据仓库优化与支持服务 产品介绍 常见问题 计费说明 父主题： 优化与提升

查看更多 →

数据仓库咨询与规划服务 产品介绍 常见问题 计费说明 父主题： 咨询与规划

查看更多 →

数据仓库上云与实施服务 产品介绍 常见问题 计费说明 父主题： 上云与实施

查看更多 →

数据仓库 华为云数据仓库高级工程师培训 父主题： 培训服务

查看更多 →

兼容传统数据仓库 GaussDB (DWS)支持SQL 2003标准，兼容Oracle的部分语法和数据结构，支持存储过程，可与常用BI（business intelligence）工具无缝对接，业务迁移修改量极小。 安全可靠 GaussDB(DWS)支持数据加密，同时可与数据库安全

查看更多 →

数据仓库 表1 数据仓库权限 权限 对应API接口 授权项（Action） IAM项目 (Project) 企业项目 (Enterprise Project) 获取数据仓库列表 GET /v1.0/{project_id}/common/warehouses octopus:dataWarehouse:list

查看更多 →

数据仓库 获取数据仓库列表信息 获取数据仓库的数据列表 父主题： API

查看更多 →

API售卖与技术支持 如何对API进行商业售卖？ 谁为API使用者提供技术支持？

查看更多 →

强大的数据连接和集成能力：DataArts Studio支持与各种数据源的连接和集成，包括关系型数据库、文件系统、云存储、API接口等。开发人员可以轻松地配置数据源连接，并直接从这些数据源中提取数据。 可扩展的脚本编写和管理：虽然DataArts Studio提供了可视化的ETL设计界面，但它也支持自定义脚本

查看更多 →

Hive应用开发简介 Hive简介 Hive是一个开源的，建立在Hadoop上的数据仓库框架，提供类似SQL的HQL语言操作结构化数据，其基本原理是将HQL语言自动转换成Mapreduce任务或Spark任务，从而完成对Hadoop集群中存储的海量数据进行查询和分析。 Hive主要特点如下：

查看更多 →

行重分布。存算分离表在重分布时，表只支持读，元数据的重分布时间一般比较短，但是，如果表上创建了索引，索引会影响重分布的性能，重分布完成时间与索引的数据量成正比关系，在此期间，表只支持读。 存算一体（单机部署）不支持分布式模式，因此不支持扩缩容、逻辑集群、资源管理等操作。 存算一体

查看更多 →

数据仓库规格 GaussDB(DWS)的规格按照产品类型分为存算一体和存算分离。其中存算一体还包含单机版模式。各产品类型的不同差异，详情请参见数据仓库类型。 低配置集群，如内存16G、vCPU4核及以下的规格，建议不要用于生产环境，可能会导致资源过载风险。 存算一体规格 存算一体

查看更多 →

样板，不作生产使用。 场景范围包括：1）数据入湖集成设计与实施；2）数据仓库建设：数据分析作业设计，数据ETL开发，数据脚本开发实施；3） 数据治理 平台建设：数据架构/模型/指标/标准/质量规则设计和实施；4）数据应用验证与实施。 服务规格 服务内容 适用场景 大数据治理样板点建设服务

查看更多 →

，因此很难为中小企业所采纳。 云数据仓库服务GaussDB(DWS)与传统的数据仓库相比，主要有以下特点与显著优势： 一款分布式MPP数据仓库云化服务，具备开放，高效，兼容，可扩展，易运维等特点。 基于GaussDB数据仓库产品内核，以云上数据仓库服务的形式将GaussDB(DW

查看更多 →

从数据调研导入：若已对源系统做了数据调研且要建模的业务对象与调研数据结构一致，则可从数据调研中选择相应的数据进行导入。例如，通过数据调研，本实践可获取到源端要进行迁移入湖的数据结构，且目标端MRS Hudi（SDI层）与要同步的源端数据结构一致，因此本实践通过“从数据调研导入”的方式新建表。

查看更多 →

护范围信息。 华为责任 客户责任 将信息收集表格提交给客户填写。 整理并识别与数据仓库优化与支持相关的信息。 配合华为工程师，提供数据仓库优化与支持方案的必要信息及信息查询方式。 提供数据仓库优化与支持服务实施使用的账户信息和接入条件。 以下为职责描述案例，可酌情修改。 R=责任方/Responsibility

查看更多 →

云平台基础架构设施及环境的设计与搭建 实施所需的通信基础架构和组件 服务内容 服务内容 服务说明 华为云数据仓库产品咨询服务 理解客户业务需求，结合客户需求场景分析结果，提供华为云数据仓库产品及解决方案咨询服务。 华为云数据仓库平台安装部署规划与实施 提供华为云数据仓库软件组网规划、安装、配置与调测服务。

查看更多 →