多种客户端连接方式，支持JDBC接口。 Hive的主要应用于海量数据的离线分析（如 日志分析 ，集群状态分析）、大规模的数据挖掘（用户行为分析，兴趣分区，区域展示）等场景下。 为保证Hive服务的高可用性、用户数据的安全及访问服务的可控制，在开源社区的Hive-3.1.0版本基础上，Hive新增如下特性：

查看更多 →

本实验通过部署GDS 服务器 ，使用GDS导入导出的并发能力，实现双DWS集群之间1500万行数据分钟级迁移。 2h 安全管理 权限管理 通过实验创建不同用户，不同Schema，基于权限管理实现数据的隔离和互访，了解用户、角色的关系，了解grant的基本用法，了解基于角色的权限管理(RBAC)。 1.5h

查看更多 →

，从备DN只存放原主DN故障时，新升为主的DN同步到从备DN的Xlog数据和数据通道复制产生的数据。因此从备DN不额外占用存储资源，相比传统三副本节约了三分之一的存储空间。 Storage 服务器的本地存储资源，持久化存储数据。 - 集群的每个DN上负责存储数据，其存储介质也是磁

查看更多 →

Hive应用开发简介 Hive简介 Hive是一个开源的，建立在Hadoop上的 数据仓库 框架，提供类似SQL的HiveQL语言操作结构化数据，其基本原理是将HiveQL语言自动转换成MapReduce任务或Spark任务，从而完成对Hadoop集群中存储的海量数据进行查询和分析。

查看更多 →

，四种状态除了取决于Hive本身服务的可用性（会用简单的SQL来检测Hive服务的可用性），还取决于Hive服务所依赖的其他组件的服务状态。 Hive实例分为Hiveserver和Metastore两种，健康状态有Good，Concerning ，Unknown三种状态，这三种状态是通

查看更多 →

CDM 在进行作业分片时，根据源端数据源的差异，分片维度有所不同。详情如表1所示。 表1 不同源端数据源的作业分片维度 数据源分类 源端数据源 作业分片原理 数据仓库 数据仓库服务（DWS） 支持按表字段分片。 不支持按表分区分片。 数据湖探索 （ DLI ） 支持分区表的分区信息分片。 不支持非分区表分片。

查看更多 →

GaussDB (DWS)支持行列混合存储，可以同时为用户提供更优的数据压缩比（列存）、更好的索引性能（列存）、更好的点更新和点查询（行存）性能。 数据加载快 GaussDB(DWS)提供了GDS极速并行大规模数据加载工具。 列存下的数据压缩 对于非活跃的早期数据可以通过压缩来减少空间占用，降低采购和运维成本。

查看更多 →

HDFS：最底层的IO读也是性能的关键，主要考虑的指标是读取和写入的性能，还包括块大小合理设置等。 其中MapReduce/Spark/HDFS组件有自己独立的调优手册及文档，请参考对应组件的调优。本文档重点讨论上述的1，2，3部分的性能调优的内容，并结合MapReduce/Spark的进行调优说明。 批处理业务

查看更多 →

模式，只能使用STANDALONE模式。 说明：STANDALONE模式主要是用来解决版本冲突问题的运行模式。当同一种数据连接的源端或者目的端连接器的版本不一致时，存在jar包冲突的情况，这时需要将源端或目的端放在STANDALONE进程里，防止冲突导致迁移失败。 linkConfig

查看更多 →

Hive方言 简介 从Flink 1.11.0 开始，在使用Hive方言时，Flink允许用户用Hive语法来编写SQL语句。通过提供与Hive语法的兼容性，改善与Hive的互操作性，并减少用户需要在Flink和Hive之间切换来执行不同语句的情况。详情可参考：Apache Flink

查看更多 →

使用Hive Hive用户权限管理 Hive客户端使用实践 快速使用Hive进行数据分析 Hive数据存储及加密配置 Hive on HBase 配置Hive读取关系型数据库数据 Hive企业级能力增强 Hive性能调优 Hive运维管理 Hive常见SQL语法说明 Hive常见问题

查看更多 →

Hive输入 概述 “Hive输入”算子，将Hive表的指定列转换成同等数量的输入字段。 输入与输出 输入：Hive表列 输出：字段 参数说明 表1 算子参数说明 参数 含义 类型 是否必填 默认值 Hive数据库 Hive的数据库名称。 String 否 default Hive表名

查看更多 →

tableIdentifier Hudi表的名称。 tablelocation Hudi表的存储路径。 hoodie.archive.file.cleaner.policy 清理归档文件的策略：目前仅支持KEEP_ARCHIVED_FILES_BY_SIZE和KEEP_ARCHIVED_FILES_BY

查看更多 →

Hive on HBase 配置跨集群互信下Hive on HBase 删除Hive on HBase表中的单行记录 父主题： 使用Hive

查看更多 →

输入文件数超出设置限制导致任务执行失败 Hive任务执行中报栈内存溢出导致任务执行失败 对同一张表或分区并发写数据导致任务失败 Hive任务失败，报没有HDFS目录的权限 Load数据到Hive表失败 参考Hive JDBC代码用例开发的业务应用运行失败 HiveServer和HiveHCat进程故障 MRS

查看更多 →

CDM在进行作业分片时，根据源端数据源的差异，分片维度有所不同。详情如表1所示。 表1 不同源端数据源的作业分片维度 数据源分类 源端数据源 作业分片原理 数据仓库 数据仓库服务（DWS） 支持按表字段分片。 不支持按表分区分片。 数据湖 探索（DLI） 支持分区表的分区信息分片。 不支持非分区表分片。

查看更多 →

Hive与其他组件的关系 Hive与HDFS组件的关系 Hive是Apache的Hadoop项目的子项目，Hive利用HDFS作为其文件存储系统。Hive通过解析和计算处理结构化的数据，Hadoop HDFS则为Hive提供了高可靠性的底层存储支持。Hive数据库中的所有数据文件都可以存储在Hadoop

查看更多 →

ClickHouse是一款开源的面向联机分析处理的列式数据库，其独立于Hadoop大数据体系，最核心的特点是压缩率和极速查询性能。同时，ClickHouse支持SQL查询，且查询性能好，特别是基于大宽表的聚合分析查询性能非常优异，比其他分析型数据库速度快一个数量级。 ClickHouse核心的功能特性介绍如下：

查看更多 →

数据仓库自定义属性 获取数据仓库自定义属性列表 父主题： API

查看更多 →

数据仓库咨询与规划服务 产品介绍 常见问题 计费说明 父主题： 咨询与规划

查看更多 →

数据仓库自定义属性 表1 数据仓库自定义属性权限 权限 对应API接口 授权项（Action） IAM项目 (Project) 企业项目 (Enterprise Project) 获取数据仓库自定义属性列表 GET /v1.0/{project_id}/common/wareho

查看更多 →