单击“配置”按钮获取SQL模板。 表2 高级参数 参数 是否必选 说明 节点执行的最长时间 是 设置节点执行的超时时间，如果节点配置了重试，在超时时间内未执行完成，该节点将会再次重试。 失败重试 是 节点执行失败后，是否重新执行节点。 是：重新执行节点，请配置以下参数。 超时重试 最大重试次数

查看更多 →

在、引用到的物理模型表和字段是否存在。 图2 一致性校验 预览和下载 ETL已完成的脚本支持预览和下载。支持在创建界面预览和下载脚本，或在ETL映射管理界面预览和下载。 图3 在新建界面预览和下载 图4 ETL映射管理界面预览和下载 父主题： 信息架构设计

查看更多 →

技术元数据是存储关于 数据仓库 系统技术细节的数据，是用于开发和管理数据仓库使用的数据。在 DataArts Studio 中，技术元数据即为技术资产，显示数据库、数据表、数据量的数量及其详情。 业务元数据从业务角度描述了数据仓库中的数据，它提供了介于使用者和实际系统之间的语义层，使得不懂计算

查看更多 →

联后该ETL作业将会自动在实施进度管理中展示； ETL Mapping名称：选择配置好的ETL映射； DataArts Studio目录：选填需要将该ETL映射同步至DataArts Studio的具体目录； 连接名称：选择在DataArts Studio中创建好的数据连接。 点击【同步历史】，查看同步结果。

查看更多 →

数据类型选择、索引优化等，以提高模型的性能和可维护性。 通过良好的物理模型开发，可以确保数据在存储和处理过程中的准确性和一致性，为后续的数据处理和分析提供可靠的基础。 ETL脚本开发 在开发过程中，开发人员需要仔细阅读并参考开发规范文档，遵循其中的命名规范，并根据mapping表

查看更多 →

数据仓库 华为云数据仓库高级工程师培训 父主题： 培训服务

查看更多 →

数据仓库 表1 数据仓库权限 权限 对应API接口 授权项（Action） IAM项目 (Project) 企业项目 (Enterprise Project) 获取数据仓库列表 GET /v1.0/{project_id}/common/warehouses octopus:dataWarehouse:list

查看更多 →

数据仓库 获取数据仓库列表信息 获取数据仓库的数据列表 父主题： API

查看更多 →

Hudi进行DWI层建模的目的是在ETL映射中需要使用，即，将SDI层的某个表映射至DWI层。 ETL映射 根据业务场景需要，可将数据从源端数据中进行移动和转换到指定的目标数据表中。如，本实践中需要将SDI层的门店表映射至DWI层的门店表。 图26 新建ETL映射 表2 ETL映射参数说明

查看更多 →

API访问服务端进行Hive的相关操作。 HQL语言 Hive Query Language，类SQL语句。 HCatalog HCatalog是建立在Hive元数据之上的一个表信息管理层，吸收了Hive的DDL命令。为MapReduce提供读写接口，提供Hive命令行接口来进行数据定义和元数据查询。基于MR

查看更多 →

存算一体1:8云盘规格，该规格弹性伸缩，无限算力、无限容量，规格详情请参见表1。 存算一体1:4云盘规格，在大规模数据查询和分析能力基础上，提供高并发、高性能、低时延、低成本的事务处理能力。适用于HTAP混合负载场景，规格详情请参见表2。 存算一体（单机形态）规格，此时存算一体只支持单机

查看更多 →

节点修复 支持（单机版不支持） 支持 租户侧温备 支持（单机版不支持） 支持 备注1：存算分离表数据存储在OBS上，无需重分布，但是元数据和索引存储在本地，仍然需要进行重分布。存算分离表在重分布时，表只支持读，元数据的重分布时间一般比较短，但是，如果表上创建了索引，索引会影响重分布的性

查看更多 →

脚本作业配置 为了精细化管理和便于运维，ETL作业配置规则如下: 按逻辑数据实体创建调度作业画布。 业务指标用到的逻辑数据实体，将每个逻辑数据实体放在一个画布中，包括ODS层、DWI层、DWR层基础数据，然后按照ODS层作业 > DWI层作业 > DWR层基础数据作业顺序排列。 业务指标

查看更多 →

概述与连接管理 概述 数据开发包含脚本开发和作业调度，脚本开发主要是指SQL的ETL脚本，数据从贴源层到集市层的加工和流动，作业是对数据入湖、ETL脚本、数据质量等进行时间编排和按照计划周期性执行。 连接管理 登录管理中心 > 单击右侧数据连接 > 单击创建数据连接 > 选择对应的数据库类型

查看更多 →

表等操作。 在本例中，相关数据管理操作已经在步骤2：数据准备中完成，本步骤可跳过。 脚本开发 在DataArts Studio控制台首页，选择对应工作空间的“数据开发”模块，进入数据开发页面。 在左侧导航栏中，单击“脚本开发”，再右键单击“脚本”选择“新建目录”，在弹出框中输入目

查看更多 →

a的SQL语法进行了兼容性增强，在很多场合都可以替代国外同类型产品。 数据仓库服务工程师重点设计实现了基于行列混存的数据仓库内核，在支持海量数据快速分析的同时也很好地兼顾了业务运作系统对数据增删改的需求。引入了基于代价的查询优化器，以及当前数据仓库系统所流行的一些黑科技，包括机器

查看更多 →

Hive应用开发简介 Hive简介 Hive是一个开源的，建立在Hadoop上的数据仓库框架，提供类似SQL的HiveQL语言操作结构化数据，其基本原理是将HiveQL语言自动转换成MapReduce任务或Spark任务，从而完成对Hadoop集群中存储的海量数据进行查询和分析。

查看更多 →

不同业务之间的资源隔离，如果业务1使用一个3节点VW，业务2使用一个4节点VW。如果业务1，在每天的10:00-12:00有业务高峰，那么可以为业务1配置弹性VW，在高峰期弹出弹性VW，在高峰期过后销毁。

查看更多 →

根据业务特点，设计数据仓库迁移方案，协助客户实施数仓平台迁移、以及原平台向华为云数据仓库平台的割接。 系统开发对接支持 提供数据仓库平台开发支持服务，指导客户开发人员进行适配器、适配脚本开发实践。 服务SLA 在服务内向客户提供5x8小时服务支持。 服务流程 服务周期 项目服务周期为客户合同签订后，支付服务订单日开

查看更多 →

信息架构L1-L5层元素间的实体联接： “属性-被包含-逻辑数据实体”：描述信息架构中L5层属性和L4层逻辑实体的关系。 “逻辑数据实体-被包含-业务对象”：描述信息架构中L4层逻辑数据实体和L3层业务对象的关系。 “业务对象-被包含-主题域”：描述信息架构中L3层业务对象和L2层主题域的关系。

查看更多 →

Hive应用开发简介 Hive简介 Hive是一个开源的，建立在Hadoop上的数据仓库框架，提供类似SQL的HQL语言操作结构化数据，其基本原理是将HQL语言自动转换成MapReduce任务或Spark任务，从而完成对Hadoop集群中存储的海量数据进行查询和分析。 Hive主要特点如下：

查看更多 →