数据仓库 优化与支持服务 产品介绍 常见问题 计费说明 父主题： 优化与提升

查看更多 →

快速使用Hive进行数据分析 Hive是基于Hadoop的一个数据仓库工具，可将结构化的数据文件映射成一张数据库表，并提供类SQL的功能对数据进行分析处理，通过类SQL语句快速实现简单的MapReduce统计，不必开发专门的MapReduce应用，适合用于数据仓库的统计分析。 背景信息

查看更多 →

如果HiveServer实例被迁移，原始的示例程序会失效。在HiveServer实例迁移之后，用户需要更新示例程序中使用的HiveServer的IP地址。 在HAConnection的第三个参数填写正确的用户名，密码可以不填写。创建连接，执行HQL，样例代码中仅执行查询所有表功能，可根据实际情况修改HQL内容，输出查询的列名和结果到控制台。

查看更多 →

配置Hive任务的最大map数 操作场景 此功能适用于Hive。 此功能用于从服务端限定Hive任务的最大map数，避免HiveSever服务过载而引发的性能问题。 操作步骤 进入Hive服务配置页面： MRS 3.x之前版本，单击集群名称，登录集群详情页面，选择“组件管理 > Hive

查看更多 →

Hive分区修剪的谓词下推增强 配置场景 在旧版本中，对Hive表的分区修剪的谓词下推，只支持列名与整数或者字符串的比较表达式的下推，在2.3版本中，增加了对null、in、and、or表达式的下推支持。 配置参数 登录 FusionInsight Manager系统，选择“集群 >

查看更多 →

Hive对接OBS 概述 Hive是一个数据仓库工具，可以对存储在分布式存储中的大规模数据进行数据提取、转化和加载，它提供了丰富的SQL查询方式来进行数据分析。 前提条件 已安装Hadoop，具体请参见Hadoop对接OBS。 对接步骤 以Hive 2.3.3为例。 下载apache-hive-2

查看更多 →

说明： 在使用Hive进行联表查询，且关联的表无大小表的分别（小表数据<24MB）时，建议将此参数值修改为“false”，如果此时将此参数设置为true，执行联表查询时无法生成新的mapjoin。 true hive.default.fileformat Hive使用的默认文件格式

查看更多 →

配置Hive任务的最大map数 “hive.mapreduce.per.task.max.splits”参数可用于从服务端限定Hive任务的最大map数，避免HiveSever服务过载而引发的性能问题。 操作步骤 登录FusionInsight Manager页面，选择“集群 >

查看更多 →

基于Python的Hive样例程序 功能介绍 本章节介绍如何使用Python连接Hive执行数据分析任务。 样例代码 使用Python方式提交数据分析任务，参考样例程序中的“hive-examples/python-examples/pyCLI_sec.py”。该样例程序连接的集群的认证模

查看更多 →

Hive基本原理 Hive是建立在Hadoop上的数据仓库基础构架。它提供了一系列的工具，可以用来进行数据提取转化加载（ETL），这是一种可以存储、查询和分析存储在Hadoop中的大规模数据的机制。Hive定义了简单的类SQL查询语言，称为HQL，它允许熟悉SQL的用户查询数据。

查看更多 →

Hive分区修剪的谓词下推增强 配置场景 在旧版本中，对Hive表的分区修剪的谓词下推，只支持列名与整数或者字符串的比较表达式的下推，在2.3版本中，增加了对null、in、and、or表达式的下推支持。 配置参数 登录FusionInsight Manager系统，选择“集群 >

查看更多 →

基于Python的Hive样例程序 功能介绍 本章节介绍如何使用Python连接Hive执行数据分析任务。 样例代码 使用Python方式提交数据分析任务，参考样例程序中的“hive-examples/python-examples/pyCLI_sec.py”。该样例程序连接的集群的认证模

查看更多 →

${ldap_host}为LDAP服务的主机名或IP地址，${ldap_port}为LDAP服务的的端口号。 必须确保配置的LDAP服务主机名或者IP与HiveServer节点互通。如果URL中配置的LDAP主机名，则需要在HiveServer节点的“/etc/hosts”文件中配置相应LDAP主机名和IP映射关系。

查看更多 →

适用于数据仓库服务（DWS）的最佳实践 该示例模板中对应的合规规则的说明如下表所示： 表1 合规包示例模板说明 合规规则 规则中文名称 涉及云服务 规则描述 dws-clusters-no-public-ip DWS集群未绑定弹性公网IP dws DWS集群绑定弹性公网IP，视为“不合规”

查看更多 →

多服务/多集群共享元数据 场景描述 多服务/多集群均使用统一的元数据，最大化实现数据的共享，避免不必要的重复数据，更大程度释放业务数据价值。 本服务的优势 兼容Hive元数据模型：提供兼容Hive元数据模型的SDK客户端，使计算引擎对接LakeFormation更轻松和高效。 兼

查看更多 →

数据仓库上云与实施服务 产品介绍 常见问题 计费说明 父主题： 上云与实施

查看更多 →

图解数据仓库服务

查看更多 →

多种客户端连接方式，支持JDBC接口。 Hive主要应用于海量数据的离线分析（如 日志分析 ，集群状态分析）、大规模的数据挖掘（用户行为分析，兴趣分区，区域展示）等场景下。 为保证Hive服务的高可用性、用户数据的安全及访问服务的可控制，在开源社区的Hive-3.1.0版本基础上，Hive新增如下特性： 数据文件加密机制。

查看更多 →

连接方式介绍 连接数据库的方式通常是根据安全性、性能、可扩展性和实现复杂度等因素进行选择的。下面是3种方式连接数据库的优缺点以及选择原则： 表1 不同方式的优缺点以及选择原则 连接方式 优点 缺点 选择原则 非加密方式 简单易实现，无需额外的加密和解密操作。 性能较高，因为不需要

查看更多 →

服务名 产生告警的服务名称。 角色名 产生告警的角色名称。 主机名 产生告警的主机名。 对系统的影响 系统无法提供数据加载，查询，提取服务。 可能原因 Hive服务不可用可能与ZooKeeper、HDFS、Yarn和DBService等基础服务有关，也可能由Hive自身的进程故障引起。

查看更多 →

“USER_NAME”为实际用户名，例如“developuser”，样例代码如下： // 设置新建用户的USER_NAME，其中"xxx"为已创建的用于认证的用户名，例如创建的用户为developuser，则USER_NAME为developuser USER_NAME = "xxx";

查看更多 →