ETL映射设计 ETL映射设计用于将数据从源系统抽取出来，经过清洗、转换、加载等一系列操作后，将数据加载到目标系统的过程。解决方案工作台支持SDI、DWI和DWR层物理表、支持多种数据库、支持生成脚本等。 新建ETL映射 图1 新建ETL映射 参数 说明 映射名称 自定义 数据库数据类型

查看更多 →

ETL Job 功能 通过ETL Job节点可以从指定数据源中抽取数据，经过数据准备对数据预处理后，导入到目标数据源。 目标端是DWS的ETL Job节点，不支持使用委托进行调度，建议采用兼容性更佳的公共IAM账号方式进行调度，详见配置调度身份。 参数 用户可参考表1，表2和表3配置ETL

查看更多 →

安装测试环境 购买E CS 服务器 弹性IP绑定ECS 配置 服务器 安装SQL SERVER客户端 安装报表服务器和数据库客户端 安装U9C产品 父主题： U9C安装部署

查看更多 →

SSB测试环境 硬件环境 每个测试环境6个节点，配置如下： CPU 16核：Intel Ice Lake 内存：64GB 网络带宽：9Gbit/s 磁盘：SSD云盘，每块600GB，共2块 软件环境 内核版本：Linux 3.10.0-862.14.1.5.h757.eulerosv2r7

查看更多 →

添加实施作业 配置ETL Mapping。 实施作业名称：自定义； 关联需求：可选，可与新建项目时的相关需求关联起来，关联后该ETL作业将会自动在实施进度管理中展示； ETL Mapping名称：选择配置好的ETL映射； DataArts Studio 目录：选填需要将该ETL映射同步至DataArts

查看更多 →

TPC-DS测试环境 硬件环境 每个测试环境6个节点，配置如下： CPU 16核：Intel Ice Lake 内存：64GB 网络带宽：9Gbit/s 磁盘：SSD云盘，每块600GB，共2块 软件环境 内核版本：Linux 3.10.0-862.14.1.5.h757.eulerosv2r7

查看更多 →

TPC-H测试环境 硬件环境 每个测试环境6个节点，配置如下： CPU 16核：Intel Ice Lake 内存：64GB 网络带宽：9Gbit/s 磁盘：SSD云盘，每块600GB，共2块 软件环境 内核版本：Linux 3.10.0-862.14.1.5.h757.eulerosv2r7

查看更多 →

数据仓库 华为云数据仓库高级工程师培训 父主题： 培训服务

查看更多 →

数据仓库 表1 数据仓库权限 权限 对应API接口 授权项（Action） IAM项目 (Project) 企业项目 (Enterprise Project) 获取数据仓库列表 GET /v1.0/{project_id}/common/warehouses octopus:dataWarehouse:list

查看更多 →

数据仓库 获取数据仓库列表信息 获取数据仓库的数据列表 父主题： API

查看更多 →

与开发测试环境边界 由于测试环境仍属于安全级别较低的区域，安全风险较高，如需与生产环境互联，此边界需要特别关注，采用较严格的访问控制策略：由开发测试环境发起对生产环境的访问，需严格控制(默认失败)，仅能访问生产环境中必要的[IP]:[PORT] (最小化)；由生产环境发起的对开发

查看更多 →

第三方平台对接支持：负责第三方系统或监控平台对接数据仓库过程中遇到的问题咨询和解答（限于华为产品已验证过的第三方产品）。 应用联调与上线支持：在应用与生产环境数据仓库的正式对接联调时，由于测试环境与生产环境的本质差异，生产环境易出现测试环境未能遭遇的问题，协助处理未知问题。 国产化改造：在数据仓库国产化转型过程中

查看更多 →

开发测试环境安全解决方案 网络隔离与访问控制 网络边界安全 安全管理 主机安全

查看更多 →

数据仓库规格 GaussDB (DWS)的规格按照产品类型分为存算一体和存算分离。其中存算一体还包含单机版模式。各产品类型的不同差异，详情请参见数据仓库类型。 低配置集群，如内存16G、vCPU4核及以下的规格，建议不要用于生产环境，可能会导致资源过载风险。 存算一体规格 存算一体

查看更多 →

数据仓库类型 产品类型概述 存算一体：面向数据分析场景，为用户提供高性能、高扩展、高可靠、高安全、低时延、易运维的企业级数仓服务，支持2048节点、20PB级超大规模数据分析能力，适用于“库、仓、市、湖”一体化的融合分析业务。 存算分离：采用存算分离云原生架构，计算、存储分层弹性

查看更多 →

按照传统的定义，元数据（Metadata）是关于数据的数据。元数据打通了源数据、数据仓库、数据应用，记录了数据从产生到消费的全过程。元数据主要记录数据仓库中模型的定义、各层级间的映射关系、监控数据仓库的数据状态及ETL的任务运行状态。在数据仓库系统中，元数据可以帮助数据仓库管理员和开发人员非常方便地找到其所关心的数据

查看更多 →

1.0版本和8.3.0版本进行性能对比测试。基于SSB-Flat测试集，对DWS 9.1.0版本和开源OLAP产品ClickHouse进行对比测试。本次性能测试时间为2024年7月。 TPC-H TPC-H由国际事务处理性能委员会（Transaction Processing Performance

查看更多 →

参数提取出来作为环境变量，环境变量支持导入和导出。 表1 环境变量列表 序号 变量名 变量配置 1 ETL_TODAY #{DateUtil.format（DateUtil.addDays（Job.planTime,0）,"yyyy-MM-dd"）} 2 ETL_YESTERDAY

查看更多 →

性能测试 性能测试是一种软件测试形式，通过性能测试工具模拟正常、峰值及异常负载等状态下对系统的各项性能指标进行测试的活动，它关注运行系统在特定负载下的性能，可帮助你评估系统负载在各种方案中的功能，涉及系统在负载下的响应时间、吞吐量、资源利用率和稳定性，以帮助确保系统性能满足基线要

查看更多 →

sec) ​ 基于TPCH 10 scale的数据，针对上述的查询示例Q1、Q2、Q3。开启与关闭LIMIT OFFSET下推功能的性能对比如下。 图1 性能对比 父主题： LIMIT OFFSET下推

查看更多 →

count(*) from sbtest1 where id/k in (... ...); 性能对比如下表所示： 表1 性能数据 测试方法 开启转换 关闭转换（不适用range_opt） 性能对比 带索引 0.09 2.48 提升26.5倍 父主题： IN谓词转子查询

查看更多 →