多数据源，高效批量、实时数据导入。 高性能 PB级数据低成本的存储与万亿级数据关联分析秒级响应。 实时 业务数据流实时整合，及时对经营决策进行优化与调整。 图3 增强型ETL+实时BI分析 实时数据分析 移动互联网、IoT场景下会产生大量实时数据，为了快速获取数据价值，需要对数据进行实时分析，

查看更多 →

ETL Job 功能 通过ETL Job节点可以从指定数据源中抽取数据，经过数据准备对数据预处理后，导入到目标数据源。 目标端是DWS的ETL Job节点，不支持使用委托进行调度，建议采用兼容性更佳的公共IAM账号方式进行调度，详见配置调度身份。 参数 用户可参考表1，表2和表3配置ETL

查看更多 →

ETL映射设计 ETL映射设计用于将数据从源系统抽取出来，经过清洗、转换、加载等一系列操作后，将数据加载到目标系统的过程。解决方案工作台支持SDI、DWI和DWR层物理表、支持多种数据库、支持生成脚本等。 新建ETL映射 图1 新建ETL映射 参数 说明 映射名称 自定义 数据库数据类型

查看更多 →

Studio 数据治理中心 是一个强大的ETL工具和技术，它可以帮助开发人员设计、编写和管理ETL脚本。以下是 DataArts Studio 在这些方面的主要功能和优势： 可视化的ETL设计：DataArts Studio提供了一个直观的可视化界面，使开发人员能够以图形化方式设计和配置ETL流程。通过拖放组

查看更多 →

使用数仓的负载管理手段，精准控制。 实时写入 提供H-Store存储引擎，微批数据存放在本地，周期合并到OBS存储，支持高吞吐实时写入与更新，同时支持大批量写入场景。 数据实时写入并经实时计算之后，可以用于实时大屏、实时分析、实时监控、实时风控、实时推荐。 多VW支持业务隔离和极致弹性（存算分离架构）

查看更多 →

添加实施作业 配置ETL Mapping。 实施作业名称：自定义； 关联需求：可选，可与新建项目时的相关需求关联起来，关联后该ETL作业将会自动在实施进度管理中展示； ETL Mapping名称：选择配置好的ETL映射； DataArts Studio目录：选填需要将该ETL映射同步至DataArts

查看更多 →

COPY方式和GDS并行导入方式。 数据源丰富，操作简单。 使用DSC工具迁移SQL脚本 数据库、NoSQL、文件系统、大数据平台 请参考第三方ETL工具的相关文档。 GaussDB (DWS)提供了DSC工具，可以将Teradata/Oracle脚本迁移到GaussDB(DWS)。

查看更多 →

DRS实时同步支持使用Online DDL工具吗 使用场景 MySQL为源的迁移或同步任务，在增量阶段使用第三方拷表方式实现的Online DDL工具（如PT-OSC、GH-OST）在源库执行DDL，会先创建临时表，通过临时表做DDL，针对这个情况，使用DRS进行迁移或同步时，可分为以下三种场景：

查看更多 →

议回馈给车主。 优势 多源数据分析免搬迁：关系型数据库RDS中存放车辆和车主基本信息， 表格存储 CloudTable中存放实时的车辆位置和健康状态信息， 数据仓库 DWS中存放周期性统计的指标。通过 DLI 无需数据搬迁，对多数据源进行联邦分析。 数据分级存储：车企需要保留全量历史数据支撑

查看更多 →

议回馈给车主。 优势 多源数据分析免搬迁：关系型数据库RDS中存放车辆和车主基本信息，表格存储CloudTable中存放实时的车辆位置和健康状态信息，数据仓库DWS中存放周期性统计的指标。通过DLI无需数据搬迁，对多数据源进行联邦分析。 数据分级存储：车企需要保留全量历史数据支撑

查看更多 →

数据仓库 表1 数据仓库权限 权限 对应API接口 授权项（Action） IAM项目 (Project) 企业项目 (Enterprise Project) 获取数据仓库列表 GET /v1.0/{project_id}/common/warehouses octopus:dataWarehouse:list

查看更多 →

数据仓库 获取数据仓库列表信息 获取数据仓库的数据列表 父主题： API

查看更多 →

数据仓库 华为云数据仓库高级工程师培训 父主题： 培训服务

查看更多 →

数据如何存储到数据仓库服务？ GaussDB(DWS)支持多数据源高效入库，典型的入库方式如下所示。详细指导请参见导入数据。 从OBS导入数据。 数据上传到OBS 对象存储服务 中，再从OBS中导入，支持 CS V，TEXT格式数据。 通过INSERT语句直接插入数据。 用户可以通过Ga

查看更多 →

完成大规模的数据处理工作，实现对数据处理的快速响应。 图4 产品架构 应用层 数据加载工具、ETL（Extract-Transform-Load）工具、以及商业智能BI工具、数据挖掘和分析工具，均可以通过标准接口与GaussDB(DWS)集成。GaussDB(DWS)兼容Post

查看更多 →

按照传统的定义，元数据（Metadata）是关于数据的数据。元数据打通了源数据、数据仓库、数据应用，记录了数据从产生到消费的全过程。元数据主要记录数据仓库中模型的定义、各层级间的映射关系、监控数据仓库的数据状态及ETL的任务运行状态。在数据仓库系统中，元数据可以帮助数据仓库管理员和开发人员非常方便地找到其所关心的数据

查看更多 →

华为云帮助中心，为用户提供产品简介、价格说明、购买指南、用户指南、API参考、最佳实践、常见问题、视频帮助等技术文档，帮助您快速上手使用华为云服务。

查看更多 →

工具 SQL诊断 SQL探针 表诊断 智能分布列推荐 父主题： 数据库监控（DMS）

查看更多 →

数据仓库规格 GaussDB(DWS)的规格按照产品类型分为标准数仓、实时数仓和IoT数仓。其中实时数仓还包含单机版模式。各产品类型的不同差异，详情请参见数据仓库类型。 标准数仓（DWS 2.0）规格 标准数仓（DWS 2.0）云盘规格，该规格弹性伸缩，无限算力、无限容量，规格详情请参见表1。

查看更多 →

重分布完成时间与索引的数据量成正比关系，在此期间，表只支持读。 实时数仓（单机部署）不支持分布式模式，因此不支持扩缩容、逻辑集群、资源管理等操作。 实时数仓（单机部署）不支持快照、监控面板、 MRS 数据源等功能。 实时数仓（单机部署）中，原有指定分布列语法将被忽略，此外不支持job

查看更多 →

创建安全组，通过配置安全组规则，为 弹性云服务器 提供安全防护。 方案优势 一体化数据建模能力 支持跨不同数据查询整合，与分布式ETL一体化。提供敏捷建模、智能计算，全面支撑各种数据准备需求。 多款展示工具 符合操作习惯的Web/Excel电子表格、分析报告、大屏设计器。 超大数据量处理 利用分布式存储与计

查看更多 →