作，确保模型的准确性和一致性。同时，建议遵循一些最佳实践和建议，如命名规范、数据类型选择、索引优化等，以提高模型的性能和可维护性。 通过良好的物理模型开发，可以确保数据在存储和处理过程中的准确性和一致性，为后续的数据处理和分析提供可靠的基础。 ETL脚本开发 在开发过程中，开发人

查看更多 →

当前支持的源端数据为 DLI 类型、OBS类型和MySQL类型。 当源端数据为DLI类型时，支持的目的端数据类型为CloudTable（仅华北-北京一支持）、DWS、GES、 CSS 、OBS、DLI。 当源端数据为MySQL类型时，支持的目的端数据类型为MySQL。 当源端数据为OBS类型时，支持的目的端数据类型为DLI、DWS。

查看更多 →

数据仓库 华为云数据仓库高级工程师培训 父主题： 培训服务

查看更多 →

理模型表和字段是否存在。 图2 一致性校验 预览和下载 ETL已完成的脚本支持预览和下载。支持在创建界面预览和下载脚本，或在ETL映射管理界面预览和下载。 图3 在新建界面预览和下载 图4 ETL映射管理界面预览和下载 父主题： 信息架构设计

查看更多 →

:list √ √ 获取数据仓库的数据列表 POST /v1.0/{project_id}/common/warehouses/{data_warehouse_id}/data octopus:dataWarehouse:list √ √ 父主题： 权限和授权项

查看更多 →

数据仓库 获取数据仓库列表信息 获取数据仓库的数据列表 父主题： API

查看更多 →

企业模式下，支持从脚本开发界面快速前往发布。标放置在上，单击“前往发布”，进入待发布任务界面。 在 MRS API连接方式下，Spark SQL和HIve SQL脚本支持配置指定参数和参数值。代理连接不支持。 单击右上角的，设置相关脚本的环境变量。举例如下所示： 设置Hive SQL脚本的环境变量：

查看更多 →

没有SQL脚本 问题现象 任务创建成功，但是没有sql脚本执行。 处理方法 请自行确认组合包中是否存在除了版本名一样其他字段都一模一样的SQL包，打包禁止出现这种场景，否则获取将包文件信息失败。 或是运维中心存在重复推包的情况，导致存在重复，系统会随机选择一个包执行，可能是执行一个异常的包，没有脚本就是空包。

查看更多 →

概述与连接管理 概述 数据开发包含脚本开发和作业调度，脚本开发主要是指SQL的ETL脚本，数据从贴源层到集市层的加工和流动，作业是对数据入湖、ETL脚本、数据质量等进行时间编排和按照计划周期性执行。 连接管理 登录管理中心 > 单击右侧数据连接 > 单击创建数据连接 > 选择对应的数据库类型 >

查看更多 →

数据仓库规格 GaussDB (DWS)的规格按照产品类型分为存算一体和存算分离。其中存算一体还包含单机版模式。各产品类型的不同差异，详情请参见数据仓库类型。 低配置集群，如内存16G、vCPU4核及以下的规格，建议不要用于生产环境，可能会导致资源过载风险。 存算一体规格 存算一体

查看更多 →

支持（单机版不支持） 支持 备注1：存算分离表数据存储在OBS上，无需重分布，但是元数据和索引存储在本地，仍然需要进行重分布。存算分离表在重分布时，表只支持读，元数据的重分布时间一般比较短，但是，如果表上创建了索引，索引会影响重分布的性能，重分布完成时间与索引的数据量成正比关系，在此期间，表只支持读。

查看更多 →

Job节点，通过 CDM 节点将OBS上的数据导入到MRS Hive的原始表中。其中CDM集群名称和作业名称分别选择在步骤3：数据集成中的集群和迁移作业（图中仅为示例，以实际集群名和迁移作业名为准）。 图8 source_sdi节点属性 demo_etl_sdi_dwi节点：为MRS Hive SQL节点，用于

查看更多 →

ETL Mapping ETL Mapping用到了数据治理中心 DataArts Studio ，它是针对企业数字化运营诉求提供的具有数据全生命周期管理和智能数据管理能力的一站式治理运营平台。解决方案工作台集成DataArts Studio，支持将方案设计中“ETL映射设计”部分形成的ETL脚本同步到DataArts

查看更多 →

针对即时的分析需求，分析人员可实时从大数据平台上获取信息。 弹性伸缩 增加节点，即可扩展系统的数据存储能力和查询分析的性能，可支持PB级数据的存储和计算。 增强型ETL和实时BI分析 数据仓库在整个BI系统中起到了支柱的角色，更是海量数据收集、存储、分析的核心。为金融、教育、移动互联网、O2O（Online

查看更多 →

迁移未明确认定为“范围内”的数据 云平台基础架构设施及环境的设计与搭建 实施所需的通信基础架构和组件 服务内容 服务内容 服务说明 华为云数据仓库产品咨询服务 理解客户业务需求，结合客户需求场景分析结果，提供华为云数据仓库产品及解决方案咨询服务。 华为云数据仓库平台安装部署规划与实施

查看更多 →

作业开发 作业是指将SQL脚本或者数据集成、数据质量作业等进行编排并进行周期性的调度。 脚本作业配置 为了精细化管理和便于运维，ETL作业配置规则如下: 按逻辑数据实体创建调度作业画布。 业务指标用到的逻辑数据实体，将每个逻辑数据实体放在一个画布中，包括ODS层、DWI层、DWR层基础数据，然后按照ODS层作业

查看更多 →

所示为本实践配置的数据连接，分别是源端的两个MySQL连接和目标端的一个MRS Hudi连接。 图5 数据连接清单 添加监控对象，配置想要采集的数据连接的库表信息，以及所需采集的空值字段的表名和表字段名。 图6 配置调研规则入口 为了做源端数据调研，需要对源端系统进行监控，若需要

查看更多 →

。同时支持把多个业务运营系统的数据汇集到一个数据仓库中。这样数据可以被更好地关联和分析，从而产生更大的价值。 数据仓库采用了一些和标准的面向事务的数据库（Oracle，MS SQL Server，MySQL等）不一样的设计，特别是针对数据的聚合性和关联性做了特别的优化，有些时候为

查看更多 →

Hive是一个开源的，建立在Hadoop上的数据仓库框架，提供类似SQL的HiveQL语言操作结构化数据，其基本原理是将HiveQL语言自动转换成MapReduce任务或Spark任务，从而完成对Hadoop集群中存储的海量数据进行查询和分析。 Hive主要特点如下： 通过HiveQL语言非常容易的完成数据提取、转换和加载（ETL）。

查看更多 →

创建数据仓库GaussDB(DWS) 参见“创建集群”章节创建GaussDB(DWS)数据仓库。创建成功后，记录集群的内网IP。 为确保E CS 与GaussDB(DWS)网络互通，GaussDB(DWS)数据仓库需要与ECS在同一个区域，同一个虚拟私有云和子网下。 表1 DWS规格

查看更多 →

数据仓库错误码 SQL标准错误码说明 第三方库错误码说明 GAUSS-00001 -- GAUSS-00100 GAUSS-00101 -- GAUSS-00200 GAUSS-00201 -- GAUSS-00300 GAUSS-00301 -- GAUSS-00400 GAUSS-00401

查看更多 →