Hive应用开发简介 Hive简介 Hive是一个开源的，建立在Hadoop上的 数据仓库 框架，提供类似SQL的HiveQL语言操作结构化数据，其基本原理是将HiveQL语言自动转换成MapReduce任务或Spark任务，从而完成对Hadoop集群中存储的海量数据进行查询和分析。 Hive主要特点如下：

查看更多 →

（推荐使用）DWS服务自研的DWS Connector：更关注于直接与DWS的性能与交互，用户能够更加灵活便捷的与DWS进行数据的读写操作。 您可以通过自定义函数（UDF）的方式使用DWS自研的DWS Connector。自定义函数操作请参考自定义函数。 DWS-Connector的使用方法请参

查看更多 →

为增强可靠性，每个节点都有一个副本，副本会占用一半的存储空间，选择容量时副本容量会自动翻倍存储。 数据仓库系统会备份数据，生成索引、临时缓存文件、运行日志等内容，并占用存储容量。每个节点实际存储的数据，大致为总存储容量的一半。 父主题： 数据导入导出

查看更多 →

Hive是一个开源的，建立在Hadoop上的数据仓库框架，提供类似SQL的HQL语言操作结构化数据，其基本原理是将HQL语言自动转换成MapReduce任务或Spark任务，从而完成对Hadoop集群中存储的海量数据进行查询和分析。 Hive主要特点如下： 通过HQL语言非常容易的完成数据提取、转换和加载（ETL）。

查看更多 →

域展示）等场景下。 为保证Hive服务的高可用性、用户数据的安全及访问服务的可控制，在开源社区的Hive-3.1.0版本基础上，Hive新增如下特性： 基于Kerberos技术的安全认证机制。 数据文件加密机制。 完善的权限管理。 开源社区的Hive特性，请参见https://cwiki

查看更多 →

OBS的数据冗余存储方式是什么？ OBS采用Erasure Code（EC，纠删码）算法做数据冗余，不是以副本的形式存储。 在满足同等可靠性要求的前提下，EC的空间利用率优于多副本。 数据冗余存储策略为“单AZ”的桶，在AZ内的节点间使用EC算法做数据冗余；“多AZ”的桶在AZ内

查看更多 →

用户可以通过 GaussDB (DWS)提供的客户端工具（gsql）或者JDBC/ODBC驱动从上层应用向GaussDB(DWS)写入数据。GaussDB(DWS)支持完整的数据库事务级别的增删改(CRUD)操作。这是最简单的一种方式，这种方式适合数据写入量不太大， 并发度不太高的场景。 从 MRS 导入数据，将MRS作为ETL。

查看更多 →

容器中挂载存储 容器中挂载存储有多种方式，不同的场景下推荐的存储方式不一样，详情如表1所示。 容器存储的基础知识了解请参见存储基础知识，有助您理解本章节内容。 表1 容器挂载存储的方式及差异 容器挂载存储的方式 使用场景 特点 挂载操作参考 EmptyDir 适用于训练缓存场景。

查看更多 →

前提条件 确保已创建OBS桶和文件夹。 如何创建OBS桶，具体请参见《对象存储服务控制台指南》中的“创建桶”章节。 如何新建文件夹，具体请参见《对象存储服务控制台指南》中的“新建文件夹”章节。 该场景作业需要运行在 DLI 的独享队列上，因此要与DWS集群建立增强型跨源连接，且用户可以根据实际所需设置相应安全组规则。

查看更多 →

前提条件 确保已创建OBS桶和文件夹。 如何创建OBS桶，具体请参见《对象存储服务控制台指南》中的“创建桶”章节。 如何新建文件夹，具体请参见《对象存储服务控制台指南》中的“新建文件夹”章节。 该场景作业需要运行在DLI的独享队列上，因此要与DWS集群建立增强型跨源连接，且用户可以根据实际所需设置相应安全组规则。

查看更多 →

数据库是“按照数据结构来组织、存储和管理数据的仓库”。 广义上的数据库，在20世纪60年代已经在计算机中应用了。但这个阶段的数据库结构主要是层次或网状的，且数据和程序之间具备非常强的依赖性，应用较为有限。 现在通常所说的数据库指的是关系型数据库。关系数据库是指采用了关系模型来组织数据的数据库，其以

查看更多 →

案例：调整中间表存储方式 在GaussDB(DWS)中行存表使用行执行引擎，列存表使用列执行引擎。如果一个SQL语句涉及的表既有行存表又有列存表，系统会自动选择行执行引擎。由于列执行引擎的性能(除indexscan相关的算子)比行执行引擎性能要好很多，因此一般建议使用列存表。特别

查看更多 →

案例：调整中间表存储方式 现象描述 在GaussDB中行存表天然的使用行执行引擎，列存表天然的使用列执行引擎。如果一个SQL语句涉及的表既有行存表又有列存表，系统会自动选择行执行引擎。由于列执行引擎的性能(除indexscan相关的算子)比行执行引擎性能要好很多，因此一般建议使用

查看更多 →

数据仓库 华为云数据仓库高级工程师培训 父主题： 培训服务

查看更多 →

Hive是一个开源的，建立在Hadoop上的数据仓库框架，提供类似SQL的HQL语言操作结构化数据，其基本原理是将HQL语言自动转换成MapReduce任务或Spark任务，从而完成对Hadoop集群中存储的海量数据进行查询和分析。 Hive主要特点如下： 通过HQL语言非常容易的完成数据提取、转换和加载（ETL）。

查看更多 →

截图文件在OBS中的存储方式有哪些？区别是什么？ 在配置截图模板时，您可以根据实际需求选择直播截图文件在OBS桶中存储的方式为覆盖截图或实时截图。 覆盖截图：只保存最新的截图文件，有新的截图会覆盖原来的截图文件，命名如下所示。 {domain}/{app_name}/{stream_name}

查看更多 →

primary_key 否 如果想通过主键实时更新表中的数据，需要在创建数据表的时候增加primary_key配置项，如下面例子中的c_timeminute。配置primary_key后，在进行数据写入操作时，如果primary_key存在，则进行更新操作，否则进行插入操作。 示例：

查看更多 →

primary_key 否 如果想通过主键实时更新表中的数据，需要在创建数据表的时候增加primary_key配置项，如下面例子中的c_timeminute。配置primary_key后，在进行数据写入操作时，如果primary_key存在，则进行更新操作，否则进行插入操作。 示例：

查看更多 →

octopus:dataWarehouse:list √ √ 获取数据仓库的数据列表 POST /v1.0/{project_id}/common/warehouses/{data_warehouse_id}/data octopus:dataWarehouse:list √ √ 父主题： 权限和授权项

查看更多 →

数据仓库 获取数据仓库列表信息 获取数据仓库的数据列表 父主题： API

查看更多 →

数据在数据仓库服务中是否安全？ 安全。在大数据时代，数据是用户的核心资产。公有云将继续秉承多年来向社会做出的“上不碰应用，下不碰数据”的承诺，保证用户核心资产的安全。这是对用户和社会的承诺，也是公有云及其伙伴商业成功的保障和基石。 数据仓库服务工程师对整个数据仓库系统进行了电信系

查看更多 →