作，确保模型的准确性和一致性。同时，建议遵循一些最佳实践和建议，如命名规范、数据类型选择、索引优化等，以提高模型的性能和可维护性。 通过良好的物理模型开发，可以确保数据在存储和处理过程中的准确性和一致性，为后续的数据处理和分析提供可靠的基础。 ETL脚本开发 在开发过程中，开发人

查看更多 →

当前支持的源端数据为 DLI 类型、OBS类型和MySQL类型。 当源端数据为DLI类型时，支持的目的端数据类型为CloudTable（仅华北-北京一支持）、DWS、GES、 CSS 、OBS、DLI。 当源端数据为MySQL类型时，支持的目的端数据类型为MySQL。 当源端数据为OBS类型时，支持的目的端数据类型为DLI、DWS。

查看更多 →

:list √ √ 获取 数据仓库 的数据列表 POST /v1.0/{project_id}/common/warehouses/{data_warehouse_id}/data octopus:dataWarehouse:list √ √ 父主题： 权限和授权项

查看更多 →

数据仓库 获取数据仓库列表信息 获取数据仓库的数据列表 父主题： API

查看更多 →

数据仓库 华为云数据仓库高级工程师培训 父主题： 培训服务

查看更多 →

，进入待发布任务界面。 在 MRS API连接方式下，Spark SQL和HIve SQL脚本支持配置指定参数和参数值。代理连接不支持。 单击右上角的，设置相关脚本的环境变量。举例如下所示： 设置Hive SQL脚本的环境变量： --hiveconf hive.merge.mapfiles=true;

查看更多 →

没有SQL脚本 问题现象 任务创建成功，但是没有sql脚本执行。 处理方法 请自行确认组合包中是否存在除了版本名一样其他字段都一模一样的SQL包，打包禁止出现这种场景，否则获取将包文件信息失败。 或是运维中心存在重复推包的情况，导致存在重复，系统会随机选择一个包执行，可能是执行一个异常的包，没有脚本就是空包。

查看更多 →

理模型表和字段是否存在。 图2 一致性校验 预览和下载 ETL已完成的脚本支持预览和下载。支持在创建界面预览和下载脚本，或在ETL映射管理界面预览和下载。 图3 在新建界面预览和下载 图4 ETL映射管理界面预览和下载 父主题： 信息架构设计

查看更多 →

概述与连接管理 概述 数据开发包含脚本开发和作业调度，脚本开发主要是指SQL的ETL脚本，数据从贴源层到集市层的加工和流动，作业是对数据入湖、ETL脚本、数据质量等进行时间编排和按照计划周期性执行。 连接管理 登录管理中心 > 单击右侧数据连接 > 单击创建数据连接 > 选择对应的数据库类型 >

查看更多 →

弹性伸缩 增加节点，即可扩展系统的数据存储能力和查询分析的性能，可支持PB级数据的存储和计算。 增强型ETL和实时BI分析 数据仓库在整个BI系统中起到了支柱的作用，更是海量数据收集、存储、分析的核心。为IoT（Internet of things）、金融、教育、移动互联网、O2O（Online

查看更多 →

数据仓库规格 GaussDB (DWS)的规格按照产品类型分为标准数仓、实时数仓和IoT数仓。其中实时数仓还包含单机版模式。各产品类型的不同差异，详情请参见数据仓库类型。 标准数仓（DWS 2.0）规格 标准数仓（DWS 2.0）云盘规格，该规格弹性伸缩，无限算力、无限容量，规格详情请参见表1。

查看更多 →

IoT数仓：在标准数仓基础上，提供高效的时序计算和IoT分析能力，支持实时和历史数据关联，内置时序算子，最高40x压缩。适用于物联网IoT等实时分析场景。 GaussDB(DWS)数仓之间暂不支持互相访问，用户可通过创建的OBS外表，将两个数据库关联在同一个数据目录下进行数据查询。 功能特性对比 表1

查看更多 →

针对即时的分析需求，分析人员可实时从大数据平台上获取信息。 弹性伸缩 增加节点，即可扩展系统的数据存储能力和查询分析的性能，可支持PB级数据的存储和计算。 增强型ETL和实时BI分析 数据仓库在整个BI系统中起到了支柱的角色，更是海量数据收集、存储、分析的核心。为IoT（Internet of t

查看更多 →

Job节点，通过 CDM 节点将OBS上的数据导入到MRS Hive的原始表中。其中CDM集群名称和作业名称分别选择在步骤3：数据集成中的集群和迁移作业（图中仅为示例，以实际集群名和迁移作业名为准）。 图8 source_sdi节点属性 demo_etl_sdi_dwi节点：为MRS Hive SQL节点，用于

查看更多 →

同时支持把多个业务运营系统的数据汇集到一个数据仓库中。这样数据可以被更好地关联和分析，从而产生更大的价值。 数据仓库采用了一些和标准的面向事务的数据库（Oracle，MS SQL Server，MySQL等）不一样的设计，特别是针对数据的聚合性和关联性做了特别的优化，有些时候为了

查看更多 →

ETL Mapping ETL Mapping用到了数据治理中心 DataArts Studio ，它是针对企业数字化运营诉求提供的具有数据全生命周期管理和智能数据管理能力的一站式治理运营平台。解决方案工作台集成DataArts Studio，支持将方案设计中“ETL映射设计”部分形成的ETL脚本同步到DataArts

查看更多 →

采用的是COPY方式和GDS并行导入方式。 数据源丰富，操作简单。 使用DSC工具迁移SQL脚本 数据库、NoSQL、文件系统、大数据平台 请参考第三方ETL工具的相关文档。 GaussDB(DWS)提供了DSC工具，可以将Teradata/Oracle脚本迁移到GaussDB(DWS)。

查看更多 →

迁移未明确认定为“范围内”的数据 云平台基础架构设施及环境的设计与搭建 实施所需的通信基础架构和组件 服务内容 服务内容 服务说明 华为云数据仓库产品咨询服务 理解客户业务需求，结合客户需求场景分析结果，提供华为云数据仓库产品及解决方案咨询服务。 华为云数据仓库平台安装部署规划与实施

查看更多 →

作业开发 作业是指将SQL脚本或者数据集成、数据质量作业等进行编排并进行周期性的调度。 脚本作业配置 为了精细化管理和便于运维，ETL作业配置规则如下: 按逻辑数据实体创建调度作业画布。 业务指标用到的逻辑数据实体，将每个逻辑数据实体放在一个画布中，包括ODS层、DWI层、DWR层基础数据，然后按照ODS层作业

查看更多 →

数据和180天前的数据进行整合，存放在新生成的分区里。 删除分区 保留7天的历史数据，用于数据回溯和脚本重跑 脚本测试（测试阶段可以把参数值换成具体的值进行测试，这里使用参数为了方便以后的作业调度） 测试完成后，单击“保存并提交版本” 按照脚本的命名规则命名，并选择对应的目录，单击“确定”

查看更多 →

所示为本实践配置的数据连接，分别是源端的两个MySQL连接和目标端的一个MRS Hudi连接。 图5 数据连接清单 添加监控对象，配置想要采集的数据连接的库表信息，以及所需采集的空值字段的表名和表字段名。 图6 配置调研规则入口 为了做源端数据调研，需要对源端系统进行监控，若需要

查看更多 →