by优化，开启Map端初步聚合，减少Map的输出数据量。 操作步骤 在Hive客户端进行如下设置： set hive.map.aggr=true; 注意事项 Group By数据倾斜 Group By也同样存在数据倾斜的问题，设置hive.groupby.skewindata为true，生成的查询计划会有两个MapReduce

查看更多 →

相应参数值，Hive常用参数如表1所示。 表1 Hive常用参数说明 参数名称 参数说明 默认值 hive.auto.convert.join Hive基于输入文件大小将普通join转为mapjoin的开关，取值范围为： true false 说明： 在使用Hive进行联表查询，

查看更多 →

访问权限策略。 Hive权限模型 使用Hive组件，必须对Hive数据库和表（含外表和视图）拥有相应的权限。在 MRS 中，完整的Hive权限模型由Hive元数据权限与HDFS文件权限组成。使用数据库或表时所需要的各种权限都是Hive权限模型中的一种。 Hive元数据权限。 与传统关

查看更多 →

解决数据倾斜的问题，可通过设置“set hive.optimize.skewjoin=true”并调整“hive.skewjoin.key”的大小。“hive.skewjoin.key”是指Reduce端接收到多少个key即认为数据是倾斜的，并自动分发到多个Reduce。 父主题： Hive性能调优

查看更多 →

ericStatsEvaluator.init. 解决方案：set hive.map.aggr=false; Hive SQL设置hive.auto.convert.join = true（默认开启）和hive.optimize.skewjoin=true执行报错：ClassCastException

查看更多 →

Hive应用开发概述 Hive应用开发简介 Hive应用开发常用概念 Hive应用开发流程介绍 父主题： Hive开发指南

查看更多 →

配置Hive源端参数 支持从Hive导出数据，使用JDBC接口抽取数据。 Hive作为数据源， CDM 自动使用Hive数据分片文件进行数据分区。 表1 Hive作为源端时的作业参数 参数类型 参数名 说明 取值样例 基本参数 读取方式 包括HDFS和JDBC两种读取方式。默认为HD

查看更多 →

Hive常见日志说明 审计日志 对于审计日志来说，记录了某个时间点某个用户从哪个IP发起对HiveServer或者MetaStore的请求以及记录执行的语句是什么。 如下的HiveServer审计日志，表示在2016-02-01 14:51:22 用户user_chen向HiveServer发起了show

查看更多 →

查询Hive表数据 功能介绍 本小节介绍了如何使用HQL对数据进行查询分析。从本节中可以掌握如下查询分析方法： SELECT查询的常用特性，如JOIN等。 加载数据进指定分区。 如何使用Hive自带函数。 如何使用自定义函数进行查询分析，如何创建、定义自定义函数请见创建Hive用户自定义函数。

查看更多 →

调测Hive应用 在Windows中调测JDBC样例程序 在Linux中调测JDBC样例程序 调测HCatalog样例程序 调测Hive SpringBoot样例程序 调测Hive Python样例程序 调测Hive Python3样例程序 父主题： Hive开发指南（普通模式）

查看更多 →

查询Hive表数据 功能介绍 本小节介绍了如何使用HQL对数据进行查询分析。从本节中可以掌握如下查询分析方法： SELECT查询的常用特性，如JOIN等。 加载数据进指定分区。 如何使用Hive自带函数。 如何使用自定义函数进行查询分析，如何创建、定义自定义函数请见创建Hive用户自定义函数。

查看更多 →

HiveServer和HiveHCat进程故障 用户问题 客户集群HiveServer和WebHCat进程状态均为故障。 问题现象 客户MRS集群Master2节点上的HiveServer和WebHCat进程状态显示为故障，重启之后仍为故障状态。 原因分析 在Manager界面单

查看更多 →

MRS Hive/CDH/EMR迁移至MRS Hive数据校验 本文主要介绍MRS Hive版本间数据迁移以及将自建CDH/EMR环境上的数据迁移至华为云MRS Hive之后，使用迁移中心 MgC进行数据一致性校验的步骤和方法。 准备工作 需要先在源端内网环境中安装用于配合数据校

查看更多 →

Hive SQL逻辑优化 操作场景 在Hive上执行SQL语句查询时，如果语句中存在“(a&b) or (a&c)”逻辑时，建议将逻辑改为“a & (b or c)”。 样例 假设条件a为“p_partkey = l_partkey”，优化前样例如下所示： select

查看更多 →

解决数据倾斜的问题，可通过设置“set hive.optimize.skewjoin=true”并调整hive.skewjoin.key的大小。hive.skewjoin.key是指Reduce端接收到多少个key即认为数据是倾斜的，并自动分发到多个Reduce。 父主题： Hive性能调优

查看更多 →

ericStatsEvaluator.init. 解决方案：set hive.map.aggr=false; Hive SQL设置hive.auto.convert.join = true（默认开启）和hive.optimize.skewjoin=true执行报错：ClassCastException

查看更多 →

Hive应用开发规范 Hive应用开发规则 Hive应用开发建议

查看更多 →

Hive应用开发建议 HQL编写之隐式类型转换 查询语句使用字段的值做过滤时，不建议通过Hive自身的隐式类型转换来编写HQL。因为隐式类型转换不利于代码的阅读和移植。 建议示例： select * from default.tbl_src where id = 10001; select

查看更多 →

Hive用户权限管理 Hive用户权限说明 创建Hive角色 配置Hive表、列或数据库的用户权限 配置Hive业务使用其他组件的用户权限 父主题： 使用Hive

查看更多 →

by优化，开启Map端初步聚合，减少Map的输出数据量。 操作步骤 在Hive客户端进行如下设置： set hive.map.aggr=true; 注意事项 Group By数据倾斜 Group By也同样存在数据倾斜的问题，设置“hive.groupby.skewindata”为“true”，生成的查询计划会有两个MapReduce

查看更多 →

Hive SQL逻辑优化 操作场景 在Hive上执行SQL语句查询时，如果语句中存在“(a&b) or (a&c)”逻辑时，建议将逻辑改为“a & (b or c)”。 样例 假设条件a为“p_partkey = l_partkey”，优化前样例如下所示： select

查看更多 →