使用开源Kettle导入数据 Kettle是一款开源的ETL工具，通过Kettle工具可以完成数据的抽取、转换、装入和加载。 海量数据搬迁场景下，使用Kettle自身提供的数据入库插件，入库速度在1500条/秒左右，数据搬迁耗时较高。而相同运行环境下，使用集成dws-client

查看更多 →

数据仓库 华为云数据仓库高级工程师培训 父主题： 培训服务

查看更多 →

数据仓库 表1 数据仓库权限 权限 对应API接口 授权项（Action） IAM项目 (Project) 企业项目 (Enterprise Project) 获取数据仓库列表 GET /v1.0/{project_id}/common/warehouses octopus:dataWarehouse:list

查看更多 →

数据仓库 获取数据仓库列表信息 获取数据仓库的数据列表 父主题： API

查看更多 →

数据仓库类型 产品类型概述 存算一体：面向数据分析场景，为用户提供高性能、高扩展、高可靠、高安全、低时延、易运维的企业级数仓服务，支持2048节点、20PB级超大规模数据分析能力，适用于“库、仓、市、湖”一体化的融合分析业务。 存算分离：采用存算分离云原生架构，计算、存储分层弹性

查看更多 →

228 11921GB 4 存算分离规格 存算分离云盘规格，该规格弹性伸缩，无限算力、无限容量，规格详情请参见表5。 存算分离本地盘规格，该规格存储容量固定，不能够进行磁盘扩容和规格变更，只能进行节点扩容，规格详情请参见表6。 表5 存算分离云盘规格 规格名称 CPU架构 vCPU 内存（GB）

查看更多 →

数据仓库专家服务 服务概述 华为云为客户提供数据仓库专家服务，包含咨询服务、规划设计与实施服务、数据仓库迁移服务、开发支持服务。 前提条件 客户应提前至少5个工作日申请该服务，以便于华为云评估客户业务目标及时间计划可行性。 服务期间如涉及大批量资源需求，建议客户提前10个工作日请，具体视申请的产品类型及数量评估而定。

查看更多 →

上云与实施服务可以提供哪些服务？ 数据仓库平台设计与实施服务 数据仓库规划设计与实施服务-基础版（128vCPU以内） 数据仓库规划设计与实施服务-增量包（128vCPU以上） 数据仓库迁移支持服务 数据仓库迁移支持服务-基础包（同构）（10TB以内） 数据仓库迁移支持服务-增量包（同构）（每TB）

查看更多 →

流程设计 宏观层面：重点是组织架构与流程架构匹配，组织设置必须支撑流程价值实现，组织职责必须清晰具体，不能有重叠、空白、过多、过少； 微观层面：看流程角色职责是否通过岗位职责的设置有效落实，岗位职责与其匹配的流程角色职责相符。 单击左侧导航栏“流程设计”并进入流程设计页面。 图1

查看更多 →

设计原则 以下是常用的性能优化指导原则： 中心化原则：识别支配性工作量负载功能，并使其处理过程最小化，把注意力集中在对性能影响最大的部分进行提升。 本地化原则：选择靠近的活动、功能和结果的资源；避免通过间接的方式去达到目的，导致通信量或者处理量大辐增加，性能大辐下降。 共享资源：

查看更多 →

设计优化 PERF05-01 设计优化 父主题： PERF05 性能优化

查看更多 →

故障对系统造成的影响，并持续稳定地运行，建议遵循以下设计原则。 高可用设计 单点故障会导致整个系统崩溃、主要功能受到影响、任务延误的系统轻度损坏或存在较大的故障隐患，因此系统的高可用设计非常关键。 高可用设计的主要手段是冗余，甚至是多级冗余的组合，包括异地容灾方式保证灾难情况下无单点：

查看更多 →

最小化服务。 最小化原则（Least Privilege） 最小化身份：尽可能减少非必要的系统管理员，定时清理过期的身份。 最小化权限：给予用户或实体最小必要权限来执行其工作，以降低潜在的安全风险。 最小化暴露面：对不同的访问区域和访问对象，仅暴露最小的服务端点和最少的服务应用接口。

查看更多 →

约束设计 DEFAULT和NULL约束 如果能够从业务层面补全字段值，那么，不建议使用DEFAULT约束，避免数据加载时产生不符合预期的结果。 给明确不存在NULL值的字段加上NOT NULL约束，优化器会在特定场景下对其进行自动优化。 给可以显式命名的约束显式命名。除了NOT

查看更多 →

约束设计 DEFAULT和NULL约束 【建议】如果能够从业务层面补全字段值，那么，就不建议使用DEFAULT约束，避免数据加载时产生不符合预期的结果。 【建议】给明确不存在NULL值的字段加上NOT NULL约束，优化器会在特定场景下对其进行自动优化。 【建议】给可以显式命名的约束显式命名。除了NOT

查看更多 →

页面，点击华为云服务的图标，选择云服务的规格配置信息。 配置好规格的云服务的图标底色，相比未配置规格的云服务图标，底色会发生变化，通过该方法可以直观的看出遗漏了哪些云服务未配置规格。 如下图所示：未配置规格的图标底色为红色，已配置规格的图标底色为蓝色。 非华为云服务的图标无需进行规格的配置。

查看更多 →

设计中心 解决方案工作台提供设计引擎，用户可在线进行解决方案技术架构设计（含集成架构、部署架构）、信息架构设计。 技术架构设计 信息架构设计 父主题： 标准空间

查看更多 →

表设计 总体上讲，良好的表设计需要遵循以下原则： 减少需要扫描的数据量。通过分区表的剪枝机制可以大幅减少数据的扫描量。 尽量减少随机I/O。通过聚簇可以实现热数据的连续存储，将随机I/O转换为连续I/O，从而减少扫描的I/O代价。 选择分区方案 当表中的数据量很大时，应当对表进行分区，一般需要遵循以下原则：

查看更多 →

VN设计 通过对不同的业务划分为不同的VN，实现生产业务、办公业务、多媒体业务的同类型业务正常互通，不同类型业务隔离不互通。 同时为生产、办公、多媒体、等不同业务分配不同比例带宽，保障网络拥塞时各业务流量都能得到调度。 父主题： 用户业务设计

查看更多 →

表设计 GaussDB 是分布式架构。数据分布在各个DN上。总体上讲，良好的表设计需要遵循以下原则： 将表数据均匀分布在各个DN上。数据均匀分布，可以防止数据在部分DN上集中分布，从而导致因存储倾斜造成集群有效容量下降。通过选择合适的分布列，可以避免数据倾斜。 将表的扫描压力均匀分

查看更多 →

表设计 总体上讲，良好的表设计需要遵循以下原则： 减少需要扫描的数据量。通过分区表的剪枝机制可以大幅减少数据的扫描量。 尽量减少随机I/O。通过聚簇可以实现热数据的连续存储，将随机I/O转换为连续I/O，从而减少扫描的I/O代价。 选择分区方案 当表中的数据量很大时，应当对表进行分区，一般需要遵循以下原则：

查看更多 →