e集群的跨源连接，请参见《 数据湖探索 用户指南》的SQL跨源连接。 DLI 导入数据到CloudTable时，CloudTable的表需要提前创建好。 SQL模板 否 单击“配置”按钮获取SQL模板。 表2 高级参数 参数 是否必选 说明 节点执行的最长时间 是 设置节点执行的超时时

查看更多 →

MERGE：加载数据时，插入目标表中不存在的数据，更新目标表中存在的数据 源模型 需要进行ETL映射的源端物理模型，需要在物理模型设计中先完成设计 目标模型 需要进行ETL映射的目标端物理模型，需要在物理模型设计中先完成设计 目标表 选择目标模型中配置的表 是否删除数据 选择是否删除目标模型中的表数据 源表 选择源模型中配置的表

查看更多 →

成的ETL脚本同步到 DataArts Studio 作业指定的目录。 前提： 已在本空间的方案设计中创建ETL Mapping脚本。参考ETL映射设计。 该账号下已开通DataArts Studio服务。 已在该DataArts Studio服务中创建相应的数据连接，以便基于数据连接同步作业以及后续在DataArts

查看更多 →

接收来自应用的访问请求，并向客户端返回执行结果；负责分解任务，并调度任务分片在各DN上并行执行。 集群中，CN有多个并且CN的角色是对等的（执行DML语句时连接到任何一个CN都可以得到一致的结果）。只需要在CN和应用程序之间增加一个负载均衡器，使得CN对应用是透明的。CN故障时，

查看更多 →

程序设计的更接近特定用户的要求，或满足不同地区的法律或其他要求。 可用区 一个可用区是一个或多个物理数据中心的集合，有独立的电力和网络，AZ内逻辑上再将计算、网络、存储等资源划分成多个集群。一个Region中的多个AZ间通过高速光纤相连，以满足用户跨AZ构建高可用性系统的需求。 项目

查看更多 →

数据仓库 华为云数据仓库高级工程师培训 父主题： 培训服务

查看更多 →

在看板项目中管理工作项 完成新建工作项操作后，您可以在项目内对工作项做如下的管理动作。 前提条件 已在看板项目中新建工作项，并在项目中拥有工作项的相关权限。 在工作项主页中管理工作项 进入项目主页，选择“工作项 > 需求管理 > 工作项”页签，可进行如下操作。 图1 工作项主页 表1

查看更多 →

按照传统的定义，元数据（Metadata）是关于数据的数据。元数据打通了源数据、数据仓库、数据应用，记录了数据从产生到消费的全过程。元数据主要记录数据仓库中模型的定义、各层级间的映射关系、监控数据仓库的数据状态及ETL的任务运行状态。在数据仓库系统中，元数据可以帮助数据仓库管理员和

查看更多 →

修改工作项的结束日期。 编辑工作项 在工作项列表中，单击目标工作项所在行的字段值，即可修改编辑对应工作项字段。 快速新建子工作项 在工作项列表中，单击目标工作项标题右侧的“新建XX”，可以输入子工作项标题完成快速新建子工作项流程。 说明： 最底层工作项层级面板下的工作项不支持新建子工作项。

查看更多 →

ist √ √ 获取数据仓库的数据列表 POST /v1.0/{project_id}/common/warehouses/{data_warehouse_id}/data octopus:dataWarehouse:list √ √ 父主题： 权限和授权项

查看更多 →

数据仓库 获取数据仓库列表信息 获取数据仓库的数据列表 父主题： API

查看更多 →

更新成员在项目中的角色 功能介绍 更新成员在项目中的角色 调用方法 请参见如何调用API。 URI POST /v4/projects/{project_id}/members/role 表1 路径参数 参数 是否必选 参数类型 描述 project_id 是 String devcloud项目的32位id

查看更多 →

新建完成的工作项显示在工作项列表中。 相关操作 对新创建的工作项，可以执行以下操作。 表2 工作项基本操作 操作项 说明 查看工作项详情 在工作项列表中，单击目标工作项的标题或编号，可以查看工作项详情。 编辑工作项标题 在工作项列表中，单击目标工作项所在行的，可以编辑工作项标题。 快速新建子工作项 在工

查看更多 →

展示所有满足条件的工作项，工作项不区分父子关系，平级列表展示。 树形视图 展示所有满足条件的工作项，所有子工作项均显示在其父工作项节点下，且默认只显示父工作项，子工作项为隐藏状态，可根据需要展开子工作项。 注意：当按照工作项类型进行筛选的时候，即使在树形视图中也只是展示对应工作项类型的数

查看更多 →

转换（Transform）：在这个阶段，提取的数据经过一系列的转换操作，以满足目标系统的需求。转换操作可以包括数据清洗、数据格式转换、数据合并、数据计算等。转换的目的是将数据转化为目标系统所需的结构和格式，并进行必要的数据处理和修正。 加载（Load）：在这个阶段，经过转换后的数据被加载到目标系统中，

查看更多 →

数据仓库规格 GaussDB (DWS)的规格按照产品类型分为标准数仓和实时数仓。其中实时数仓还包含单机版模式。各产品类型的不同差异，详情请参见数据仓库类型。 低配置集群，如内存16G、vCPU4核及以下的规格，建议不要用于生产环境，可能会导致资源过载风险。 标准数仓（DWS 2.0）规格

查看更多 →

布，但是元数据和索引存储在本地，仍然需要进行重分布。存算分离表在重分布时，表只支持读，元数据的重分布时间一般比较短，但是，如果表上创建了索引，索引会影响重分布的性能，重分布完成时间与索引的数据量成正比关系，在此期间，表只支持读。 实时数仓（单机部署）不支持分布式模式，因此不支持扩缩容、逻辑集群、资源管理等操作。

查看更多 →

启动项目中的采集任务 功能介绍 启动项目中的采集任务。 URI URI格式 POST /softcomai/datalake/dataplan/v1.0/progress/{progressId}/startcollect 参数说明 参数名 是否必选 参数类型 备注 progressId

查看更多 →

Hive应用开发简介 Hive简介 Hive是一个开源的，建立在Hadoop上的数据仓库框架，提供类似SQL的HiveQL语言操作结构化数据，其基本原理是将HiveQL语言自动转换成MapReduce任务或Spark任务，从而完成对Hadoop集群中存储的海量数据进行查询和分析。 Hive主要特点如下：

查看更多 →

镜像名称：使用流水线构建完成之后的镜像地址。 图5 容器创建4 镜像版本：按照实际情况选择。一般更新之后构建容器选择最新的（最高的）版本。 配置修改 所有的配置文件都通过配置文件覆盖的方式进行配置，一定要在原来的配置文件的基础上进行修改，不要复制其他的项目中同名的配置文件，避免特殊配置项遗漏。 数据库配置文件（jdbc

查看更多 →

能需要一并授予依赖的其他角色，才能正确完成业务。角色并不能满足用户对精细化授权的要求，无法完全达到企业对权限最小化的安全管控要求。 策略：IAM最新提供的一种细粒度授权的能力，可以精确到具体服务的操作、资源以及请求条件等。基于策略的授权是一种更加灵活的授权方式，能够满足企业对权限

查看更多 →