ETL Job 功能 通过ETL Job节点可以从指定数据源中抽取数据，经过数据准备对数据预处理后，导入到目标数据源。 目标端是DWS的ETL Job节点，不支持使用委托进行调度，建议采用兼容性更佳的公共IAM账号方式进行调度，详见配置调度身份。 参数 用户可参考表1，表2和表3配置ETL

查看更多 →

支持DWS、 MRS _HIVE、MRS_SPARK，与物理模型数据类型一致 映射方式 INSERT：插入数据 MERGE：加载数据时，插入目标表中不存在的数据，更新目标表中存在的数据 源模型 需要进行ETL映射的源端物理模型，需要在物理模型设计中先完成设计 目标模型 需要进行ETL映射的目标端物理模型，需要在物理模型设计中先完成设计

查看更多 →

强大的数据连接和集成能力： DataArts Studio 支持与各种数据源的连接和集成，包括关系型数据库、文件系统、云存储、API接口等。开发人员可以轻松地配置数据源连接，并直接从这些数据源中提取数据。 可扩展的脚本编写和管理：虽然DataArts Studio提供了可视化的ETL设计界面，但它也支持自定义脚本

查看更多 →

云端建模与计算 提交体积计算作业 查看作业详情 父主题： 堆体测量

查看更多 →

全防护。 方案优势 一体化数据建模能力 支持跨不同数据查询整合，与分布式ETL一体化。提供敏捷建模、智能计算，全面支撑各种数据准备需求。 多款展示工具 符合操作习惯的Web/Excel电子表格、分析报告、大屏设计器。 超大数据量处理 利用分布式存储与计算，满足亿级数据表的关联查询和计算，帮助企业处理大数据量分析场景。

查看更多 →

添加实施作业 配置ETL Mapping。 实施作业名称：自定义； 关联需求：可选，可与新建项目时的相关需求关联起来，关联后该ETL作业将会自动在实施进度管理中展示； ETL Mapping名称：选择配置好的ETL映射； DataArts Studio目录：选填需要将该ETL映射同步至DataArts

查看更多 →

型表； 从数据调研导入：若已对源系统做了数据调研且要建模的业务对象与调研数据结构一致，则可从数据调研中选择相应的数据进行导入。例如，通过数据调研，本实践可获取到源端要进行迁移入湖的数据结构，且目标端MRS Hudi（SDI层）与要同步的源端数据结构一致，因此本实践通过“从数据调研导入”的方式新建表。

查看更多 →

Hive应用开发简介 Hive简介 Hive是一个开源的，建立在Hadoop上的 数据仓库 框架，提供类似SQL的HiveQL语言操作结构化数据，其基本原理是将HiveQL语言自动转换成MapReduce任务或Spark任务，从而完成对Hadoop集群中存储的海量数据进行查询和分析。

查看更多 →

Hive是一个开源的，建立在Hadoop上的数据仓库框架，提供类似SQL的HQL语言操作结构化数据，其基本原理是将HQL语言自动转换成MapReduce任务或Spark任务，从而完成对Hadoop集群中存储的海量数据进行查询和分析。 Hive主要特点如下： 通过HQL语言非常容易的完成数据提取、转换和加载（ETL）。

查看更多 →

。 解决方案 数据仓库主要适用于企业数据的关联和聚合等分析场景， 并从中发掘出数据背后的商业信息供决策者参考。这里的数据发掘主要指涉及多张表的大范围数据聚合和关联的复杂查询。 使用数据仓库，通过某个数据转换（ETL）的过程，业务运营数据库的数据可以被拷贝到数据仓库中供分析计算使用

查看更多 →

用于描述物料定义的扩展属性 操作路径：【Web】建模>物料主数据>物料属性 新建物料属性： 进入功能界面后，单击"新建属性”按钮，进入新建界面 按实际需要填写属性项及对应属性值信息 单击"确认“按钮提交数据 图5 新建属性 批次管理 记录实际业务中产生的批次及与该批次相关的批次属性的主数据，为后续的批次追溯提供依据

查看更多 →

建模”。 图1 建模 在数据库的建模页面，找到需要建模的物理表，单击，即可完成建模。 您也可以单击物理表名称，在展开的页面单击“建模”。 如未修改物理表的建模信息直接单击，系统将根据读取数据时自动生成的数据模型信息进行建模。 图2 建模 完成建模后，您可单击刷新建模状态，在反向建

查看更多 →

OBS，DIS，DWS，RDS 异构数据源联邦分析 车企数字化服务转型 面临市场新的竞争压力及出行服务不断变革，车企通过构建车联云平台和车机OS，将互联网应用与用车场景打通，完成车企数字化服务转型，从而为车主提供更好的智联出行体验，增加车企竞争力，促进销量增长。例如：通过对车辆日常指标数据（电池、发

查看更多 →

格式转换与渐进显示 格式转换 此功能在控制台图形界面模式和代码编辑模式使用，也支持通过接口调用模式使用。可以将原图转换为支持的图片格式，具体说明如表1所示。 支持的原图格式：jpg、jpeg、png、bmp、webp、gif、tiff。 支持输出的目标图格式：jpg、png、bmp、webp。

查看更多 →

Hive是一个开源的，建立在Hadoop上的数据仓库框架，提供类似SQL的HQL语言操作结构化数据，其基本原理是将HQL语言自动转换成Mapreduce任务或Spark任务，从而完成对Hadoop集群中存储的海量数据进行查询和分析。 Hive主要特点如下： 通过HQL语言非常容易的完成数据提取、转换和加载（ETL）。

查看更多 →

系统的平滑迁移。 兼容传统数据仓库 DWS支持SQL 2003标准，兼容Oracle的部分语法和数据结构，支持存储过程，可与常用BI（business intelligence）工具无缝对接，业务迁移修改量极小。 安全可靠 DWS支持数据加密，同时可与数据库安全服务对接，保证云上

查看更多 →

游戏运营数据分析 异构数据源联邦分析 车企数字化服务转型 面临市场新的竞争压力及出行服务不断变革，车企通过构建车联云平台和车机OS，将互联网应用与用车场景打通，完成车企数字化服务转型，从而为车主提供更好的智联出行体验，增加车企竞争力，促进销量增长。例如：通过对车辆日常指标数据（电池、发

查看更多 →

数据集市是面向数据应用为出发点，一个数据集市可以支持多个相关的数据应用。数据集市的作用与指标汇总层类似，但服务的目标系统只是指标汇总层的一部分，因此集市比指标汇总层更面向应用和用户。 集市层与指标汇总层类似，也是采用维度建模方式，常见的有星座模型、雪花模型等，只需要按实际应用需要设计、开发即可。

查看更多 →

系统建模概述与系统特性 系统建模概述 依据企业的实际研发业务场景，通过物料、文档、设计BOM、物料申请单等业务类型对象的定义和分类；在业务对象的基础上定义编码规则、生命周期、版本、操作等满足企业的业务需求。 系统特性 系统建模为系统应用的前提，一般先按照对企业文档、物料等对象分类

查看更多 →

数据仓库 华为云数据仓库高级工程师培训 父主题： 培训服务

查看更多 →

数据仓库 表1 数据仓库权限 权限 对应API接口 授权项（Action） IAM项目 (Project) 企业项目 (Enterprise Project) 获取数据仓库列表 GET /v1.0/{project_id}/common/warehouses octopus:dataWarehouse:list

查看更多 →