快速开发Hive HCatalog应用 Hive是一个开源的，建立在Hadoop上的 数据仓库 框架，提供类似SQL的HQL语言操作结构化数据，其基本原理是将HQL语言自动转换成Mapreduce任务或Spark任务，从而完成对Hadoop集群中存储的海量数据进行查询和分析。 Hive主要特点如下：

查看更多 →

入HDFS、HBase、Hive等多种数据源，支持MapReduce程序平滑转接。 集群服务部署规划 服务规模与业务容量参数配置对照表 Spark作为内存计算引擎，需要更多的内存和CPU。用户在规划规格时，应根据当前的业务容量和增长速度，规划合理的内存和CPU资源，特别需要关注以下几点：

查看更多 →

distinct，可以通过where子句将该值排除掉，并在最后的count distinct结果中加1。如果还有其他计算，可以先将值为空的记录单独处理，再和其他计算结果合并。 父主题： Hive性能调优

查看更多 →

MapReduce引擎无法查询Tez引擎执行union语句写入的数据 问题 Hive通过Tez引擎执行union相关语句写入的数据，切换到Mapreduce引擎后进行查询，发现数据没有查询出来。 回答 由于Hive使用Tez引擎在执行union语句时，生成的输出文件会存在HIVE_UNION_SUBDIR目录。

查看更多 →

解决异常导致Map数量和Reduce数量都为0时，中断任务问题 解决Hive向量化if语句中Output column number expected to be 0 when isRepeating报错问题 解决Hive向量化if语句中由于数据被覆盖导致数据错误和NPE问题 解决开

查看更多 →

配到的数据量和其他Reduce差异过大，导致大部分Reduce都已完成任务，但少量Reduce任务还没完成的情况。 解决数据倾斜的问题，可通过设置“set hive.optimize.skewjoin=true”并调整hive.skewjoin.key的大小。hive.skewjoin

查看更多 →

er.keytab”和“krb5.conf”文件，“hbase-site.xml”从HBase客户端获取，例如：/opt/client/HBase/hbase/conf，“hiveclient.properties”和“hive-site.xml”从Hive客户端获取，例如：/o

查看更多 →

MapReduce访问多组件样例程序开发思路 场景说明 该样例以MapReduce访问HDFS、HBase、Hive为例，介绍如何编写MapReduce作业访问多个服务组件。帮助用户理解认证、配置加载等关键使用方式。 该样例逻辑过程如下： 以HDFS文本文件为输入数据： log1

查看更多 →

未安装HBase时Hive on Spark任务卡顿如何处理 Hive使用WHERE条件查询超过3.2万分区的表报错 使用IBM的JDK访问beeline客户端出现连接HiveServer失败 Hive表的Location支持跨OBS和HDFS路径吗 MapReduce引擎无法查询Tez引擎执行union语句写入的数据

查看更多 →

系统当前指标取值满足自定义的告警设置条件。 对系统的影响 MapReduce JobHistoryServer非堆内存使用率过高，会影响MapReduce任务提交和运行的性能，甚至造成内存溢出导致MapReduce服务不可用。 可能原因 该节点MapReduce JobHistoryServer实例

查看更多 →

child.java.opts=-Xms1024M -Xmx3584M;//此参数为全局参数，即对Map和Reduce统一设置 参数设置只对当前session有效。 父主题： 使用Hive

查看更多 →

secret.key，fs.obs.endpoint和fs.obs.impl。 fs.obs.access.key、fs.obs.secret.key、fs.obs.endpoint分别为用户的ak、sk和endpoint。访问密钥AK/SK和终端节点Endpoint请根据实际填写，AK

查看更多 →

Hive服务健康状态和Hive实例健康状态的区别 问题现象 Hive服务健康状态和Hive实例健康状态的区别是什么？ 解决方案 Hive服务的健康状态（也就是在Manager界面看到的健康状态）有Good，Bad，Partially Healthy，Unknown四种状态 ，四种

查看更多 →

spark-shell执行SQL跨文件系统load数据到Hive表失败 用户问题 使用spark-shell命令执行SQL或者spark-submit提交的Spark任务里面有SQL的load命令，并且原数据和目标表存储位置不是同一套文件系统，上述两种方式MapReduce任务启动时会报错。 原因分析 当

查看更多 →

MapReduce MapReduce基本原理 MapReduce与其他组件的关系 MapReduce开源增强特性 父主题： 组件介绍

查看更多 →

未安装HBase时Hive on Spark任务卡顿如何处理 Hive使用WHERE条件查询超过3.2万分区的表报错 使用IBM的JDK访问Beeline客户端出现连接HiveServer失败 Hive表的Location支持跨OBS和HDFS路径吗 MapReduce引擎无法查询Tez引擎执行union语句写入的数据

查看更多 →

JobHistoryServer堆内存使用率超过阈值 告警解释 系统每30秒周期性检测Mapreduce JobHistoryServer堆内存使用率，并把实际的Mapreduce JobHistoryServer堆内存使用率和阈值相比较。当Mapreduce JobHistoryServer堆内存使用率超出阈值

查看更多 →

MapReduce引擎无法查询Tez引擎执行union语句写入的数据 问题 Hive通过Tez引擎执行union相关语句写入的数据，切换到Mapreduce引擎后进行查询，发现数据没有查询出来。 回答 由于Hive使用Tez引擎在执行union语句时，生成的输出文件会存在HIVE

查看更多 →

MapReduce访问多组件样例程序开发思路 场景说明 该样例以MapReduce访问HDFS、HBase、Hive为例，介绍如何编写MapReduce作业访问多个服务组件。帮助用户理解认证、配置加载等关键使用方式。 该样例逻辑过程如下： 以HDFS文本文件为输入数据： log1

查看更多 →

性能 实例性能 单节点多指标 多节点单指标 父主题： DBA智能运维

查看更多 →

性能 历史性能 实时性能 实时诊断 性能趋势对比查看 自定义图表 父主题： DBA智能运维（旧版）

查看更多 →