ETL映射设计 ETL映射设计用于将数据从源系统抽取出来，经过清洗、转换、加载等一系列操作后，将数据加载到目标系统的过程。解决方案工作台支持SDI、DWI和DWR层物理表、支持多种数据库、支持生成脚本等。 新建ETL映射 图1 新建ETL映射 参数 说明 映射名称 自定义 数据库数据类型

查看更多 →

ETL Job 功能 通过ETL Job节点可以从指定数据源中抽取数据，经过数据准备对数据预处理后，导入到目标数据源。 目标端是DWS的ETL Job节点，不支持使用委托进行调度，建议采用兼容性更佳的公共IAM账号方式进行调度，详见配置调度身份。 参数 用户可参考表1，表2和表3配置ETL

查看更多 →

添加实施作业 配置ETL Mapping。 实施作业名称：自定义； 关联需求：可选，可与新建项目时的相关需求关联起来，关联后该ETL作业将会自动在实施进度管理中展示； ETL Mapping名称：选择配置好的ETL映射； DataArts Studio 目录：选填需要将该ETL映射同步至DataArts

查看更多 →

经验总结 使用mapPartitions，按每个分区计算结果 如果每条记录的开销太大，例 rdd.map{x=>conn=getDBConn;conn.write(x.toString);conn.close} 则可以使用MapPartitions，按每个分区计算结果，如 rdd

查看更多 →

经验总结 使用mapPartitions，按每个分区计算结果 如果每条记录的开销太大，例： rdd.map{x=>conn=getDBConn;conn.write(x.toString);conn.close} 则可以使用MapPartitions，按每个分区计算结果，如 rdd

查看更多 →

专家经验库 应用场景说明 如何进行权限适配？ 如何创建角色？ 如何授权用户专家经验库相关的角色？ 如何查看样本？ 如何标识/取消/下载样本？

查看更多 →

维护经验管理 前提条件 已具备“设置告警维护经验”的操作权限。 背景信息 “告警设置 > 维护经验”中管理的维护经验与告警详情中的维护经验为同一个经验库。 最多可创建10000条维护经验。 操作步骤 在NetEco主菜单中选择“设备管理 > 告警管理 > 告警设置”。 在左侧导航树中选择“维护经验”。

查看更多 →

经验总结 使用mapPartitions，按每个分区计算结果 如果每条记录的开销太大，例： rdd.map{x=>conn=getDBConn;conn.write(x.toString);conn.close} 则可以使用MapPartitions，按每个分区计算结果，如 rdd

查看更多 →

数据、 数据仓库 、数据应用，记录了数据从产生到消费的全过程。元数据主要记录数据仓库中模型的定义、各层级间的映射关系、监控数据仓库的数据状态及ETL的任务运行状态。在数据仓库系统中，元数据可以帮助数据仓库管理员和开发人员非常方便地找到其所关心的数据，用于指导其进行数据管理和开发工作，提高工作效率。

查看更多 →

ETL脚本开发 在开发过程中，开发人员需要仔细阅读并参考开发规范文档，遵循其中的命名规范，并根据mapping表和逻辑文档进行开发，以确保代码的一致性和可读性。 本示例项目以某零售行业客户为例，采用 MRS Hudi+DWS湖仓一体化架构。因此ETL开发主要使用两种数据库：MRS HUDI数据库（使用Spark

查看更多 →

Hive应用开发简介 Hive简介 Hive是一个开源的，建立在Hadoop上的数据仓库框架，提供类似SQL的HiveQL语言操作结构化数据，其基本原理是将HiveQL语言自动转换成MapReduce任务或Spark任务，从而完成对Hadoop集群中存储的海量数据进行查询和分析。

查看更多 →

快速开始使用 GaussDB (DWS)。 首先，按照《数据仓库服务快速入门》中的步骤快速部署集群、连接到数据库并尝试进行一些查询。 准备好构建数据库后，将数据加载到表中并编写查询内容以操作数据仓库中的数据后，可以回到《数据仓库服务数据库开发指南》。 了解GaussDB(DWS)数据仓库的内部架构。 如果您想要

查看更多 →

应用场景 数据仓库迁移 数据仓库是企业的重要数据分析系统，随着业务量的增长，自建数仓性能逐渐不能满足实际要求，同时扩展性差、成本高，导致扩容极为困难。DWS作为云上企业级数据仓库，具备高性能、低成本、易扩展等特性，满足大数据时代企业数据仓库业务诉求。 图1 数据仓库迁移 优势 平滑迁移

查看更多 →

数据仓库 华为云数据仓库高级工程师培训 父主题： 培训服务

查看更多 →

快速开始使用GaussDB(DWS)。 首先，按照《数据仓库服务快速入门》中的步骤快速部署集群、连接到数据库并尝试进行一些查询。 准备好构建数据库后，将数据加载到表中并编写查询内容以操作数据仓库中的数据后，可以回到《数据仓库服务数据库开发指南》。 了解GaussDB(DWS)数据仓库的内部架构。 如果您想要

查看更多 →

Storm应用开发简介 目标读者 本文档提供给需要Storm二次开发的用户使用。本指南主要适用于具备Java开发经验的开发人员。 简介 Storm是一个分布式的、可靠的、容错的数据流处理系统。它会把工作任务委托给不同类型的组件，每个组件负责处理一项简单特定的任务。Storm的目标

查看更多 →

应用场景 数据仓库迁移 数据仓库是企业的重要数据分析系统，随着业务量的增长，自建数仓性能逐渐不能满足实际要求，同时扩展性差、成本高，也使扩容极为困难。GaussDB(DWS) 作为云上企业级数据仓库，具备高性能、低成本、易扩展等特性，满足大数据时代企业数据仓库业务诉求。 图1 数据仓库迁移

查看更多 →

产品价值 数据服务主要解决AI开发过程中的数据准备效率、数据安全、数据质量等关键问题，降低AI数据准备时间，同时提升AI数据的质量，达到高效的AI开发目标。 数据丰富，训练集获取耗时节省90% 电信场景覆盖广：专业实验室生成高价值样本，覆盖电信域90%以上典型场景，已有1000多个AI训练集，30000多个网络特征。

查看更多 →

Hive应用开发简介 Hive简介 Hive是一个开源的，建立在Hadoop上的数据仓库框架，提供类似SQL的HQL语言操作结构化数据，其基本原理是将HQL语言自动转换成MapReduce任务或Spark任务，从而完成对Hadoop集群中存储的海量数据进行查询和分析。 Hive主要特点如下：

查看更多 →

数据仓库 表1 数据仓库权限 权限 对应API接口 授权项（Action） IAM项目 (Project) 企业项目 (Enterprise Project) 获取数据仓库列表 GET /v1.0/{project_id}/common/warehouses octopus:dataWarehouse:list

查看更多 →

数据仓库 获取数据仓库列表信息 获取数据仓库的数据列表 父主题： API

查看更多 →