照一定的命名规则填写数据源名称，方便您快速识别和查找。 描述 填写数据源的描述信息。 扩展ABM集群 选择对应的扩展ABM集群实例来采集该数据源的模型数据。 数据湖分层 选择对应的数据湖分层：业务数据层/操作数据层/明细数据层/汇总数据层/应用数据层/贴源数据层。 JDBC字符串

查看更多 →

Hive数据存储及加密配置 使用HDFS Colocation存储Hive表 配置Hive分区元数据冷热存储 Hive支持ZSTD压缩格式 使用ZSTD_JNI压缩算法压缩Hive ORC表 配置Hive列加密功能 父主题： 使用Hive

查看更多 →

通过Hue查看Hive元数据 操作场景 用户需要使用图形化界面在集群中管理Hive的元数据，可以通过Hue完成任务。 元数据管理器使用介绍 访问Hue WebUI，请参考访问Hue WebUI界面。 查看Hive表的元数据 在左侧导航栏单击表，单击某一表名称，界面将显示Hive表的元数据信息。

查看更多 →

找。 描述 填写数据源的描述信息。 数据湖分层 选择对应的数据湖分层：业务数据层/操作数据层/明细数据层/数据汇总层/数据集市层/应用数据层/贴源数据层。 JDBC字符串 FI Hive数据库的JDBC格式连接串，格式：jdbc:hive2://host:port/dbname。

查看更多 →

配置 MRS Hive数据连接 表1 MRS Hive数据连接 参数 是否必选 说明 数据连接类型 是 MRS Hive连接固定选择为 MapReduce服务 （MRS Hive）。 数据连接名称 是 数据连接的名称，只能包含字母、数字、下划线和中划线，且长度不超过100个字符。 标签

查看更多 →

无法连接 数据仓库 集群时怎么处理？ 检查原因 基本原因可能有以下几种： 集群状态是否正常。 连接命令是否正确，用户名、密码、IP地址或端口无误。 安装客户端的操作系统类型、版本是否正确。 安装客户端的操作是否正确。 如果是在公有云环境无法连接，还需要检查以下可能导致异常的原因： 弹

查看更多 →

新建MRS Hive数据连接 连接MRS Hive前，需要满足以下条件： 已创建一个低于2.0.0版本的MRS集群，集群包含Hive组件，并且请确保MRS集群已关闭Kerberos认证。对于开启Kerberos认证的MRS Hive数据源， DLV 暂不支持。 已获取MRS Hive数据源的地址。

查看更多 →

ervice数据库默认用户及初始密码。 Hive元数据存放在外部的关系型数据库存储时，请通过如下步骤获取信息： 集群详情页的“数据连接”右侧单击“单击管理”。 在弹出页面中查看“数据连接ID”。 在MRS控制台，单击“数据连接”。 在数据连接列表中根据集群所关联的数据连接ID查找对应数据连接。

查看更多 →

加载数据到Hive表中 功能介绍 本小节介绍了如何使用HQL向已有的表employees_info中加载数据。从本节中可以掌握如何从本地文件系统、MRS集群中加载数据。以关键字LOCAL区分数据源是否来自本地。 样例代码 -- 从本地文件系统/opt/hive_examples_

查看更多 →

导入导出Hive数据库 操作场景 在大数据应用场景中，往往存在将Hive中的数据库及数据库下的所有表迁移到另一个集群上，使用Hive的导出导入数据库命令可以实现完整数据库的迁移。 本章节内容适用于MRS 3.2.0及之后版本。 Hive数据库导入导出功能目前不支持对加密表、HBa

查看更多 →

Hive数据存储及加密配置 使用HDFS Colocation存储Hive表 配置Hive分区元数据冷热存储 Hive支持ZSTD压缩格式 配置Hive列加密功能 父主题： 使用Hive

查看更多 →

BAC)。 1.5h 使用数据脱敏实现卡号等隐私信息屏蔽 本实验通过创建数据仓库服务 GaussDB (DWS)并使用DWS的数据脱敏功能，针对不同用户设置部分数据列的屏蔽，实现敏感数据脱敏，确保数据安全。 1h 高级特性 冷热数据管理 指导用户创建数据仓库集群GaussDB(DWS

查看更多 →

设置为50000即可。 Q: 遇到数据库死锁了怎么办？ A：通常出现死锁大致分为行锁死锁和分布式死锁。 行锁：该场景通常为同一主键数据的并发更新造成行锁，该情况可以通过对数据做key by解决，key by必须根据数据库主键做，保证同一个主键数据会在同一个并发中，破坏掉并发更新的条件，无法造成死锁。Flink

查看更多 →

Hive应用开发简介 Hive简介 Hive是一个开源的，建立在Hadoop上的数据仓库框架，提供类似SQL的HQL语言操作结构化数据，其基本原理是将HQL语言自动转换成Mapreduce任务或Spark任务，从而完成对Hadoop集群中存储的海量数据进行查询和分析。 Hive主要特点如下：

查看更多 →

参考：作业分片维度 CDM 在进行作业分片时，根据源端数据源的差异，分片维度有所不同。详情如表1所示。 表1 不同源端数据源的作业分片维度 数据源分类 源端数据源 作业分片原理 数据仓库 数据仓库服务（DWS） 支持按表字段分片。 不支持按表分区分片。 数据湖探索（ DLI ） 支持分区表的分区信息分片。

查看更多 →

无法成功创建数据仓库集群时怎么处理？ 检查原因 检查是否用户已经没有配额创建新的数据仓库集群。 联系服务人员 如果无法确定原因并解决问题，请提交工单反馈问题。您可以登录管理控制台，在右上方单击“工单>新建工单”填写并提交工单。 父主题： 集群管理

查看更多 →

Hive对接OBS 概述 Hive是一个数据仓库工具，可以对存储在分布式存储中的大规模数据进行数据提取、转化和加载，它提供了丰富的SQL查询方式来进行数据分析。 前提条件 已安装Hadoop，具体请参见Hadoop对接OBS。 对接步骤 以Hive 2.3.3为例。 下载apache-hive-2

查看更多 →

参考：作业分片维度 CDM在进行作业分片时，根据源端数据源的差异，分片维度有所不同。详情如表1所示。 表1 不同源端数据源的作业分片维度 数据源分类 源端数据源 作业分片原理 数据仓库 数据仓库服务（DWS） 支持按表字段分片。 不支持按表分区分片。 数据湖探索（DLI） 支持分区表的分区信息分片。

查看更多 →

多服务/多集群共享元数据 场景描述 多服务/多集群均使用统一的元数据，最大化实现数据的共享，避免不必要的重复数据，更大程度释放业务数据价值。 本服务的优势 兼容Hive元数据模型：提供兼容Hive元数据模型的SDK客户端，使计算引擎对接LakeFormation更轻松和高效。 兼

查看更多 →

数据架构支持逆向数据库吗？ 问题描述 数据架构是否支持逆向数据库。 解决方案 数据架构支持逆向数据库，目前支持基于数据仓库服务（DWS）、数据湖探索（DLI）、MapReduce服务（MRS Hive）的数据库逆向。 父主题： 数据架构

查看更多 →

HCatalog是建立在Hive元数据之上的一个表信息管理层，吸收了Hive的DDL命令。为MapReduce提供读写接口，提供Hive命令行接口来进行数据定义和元数据查询。基于MRS的HCatalog功能，Hive、MapReduce开发人员能够共享元数据信息，避免中间转换和调整，能够提升数据处理的效率。

查看更多 →