读写接口，并使用Hive的命令行接口发布数据定义和元数据探索命令。此外，经过封装这些命令，WebHCat Server还对外提供了RESTful接口，如图2所示。 图2 WebHCat的逻辑架构图 Hive原理 Hive作为一个基于HDFS和MapReduce架构的 数据仓库 ，其主要能力是通过对HQL（Hive

查看更多 →

HiveServer和HiveHCat进程故障 用户问题 客户集群HiveServer和WebHCat进程状态均为故障。 问题现象 客户 MRS 集群Master2节点上的HiveServer和WebHCat进程状态显示为故障，重启之后仍为故障状态。 原因分析 在Manager界面单

查看更多 →

并提交Tez执行。 Hive与DBService的关系 Hive的MetaStore（元数据服务）处理Hive的数据库、表、分区等的结构和属性信息（即Hive的元数据），这些信息需要存放在一个关系型数据库中，由MetaStore管理和处理。在产品中，Hive的元数据由DBServ

查看更多 →

HCatalog是建立在Hive元数据之上的一个表信息管理层，吸收了Hive的DDL命令。为MapReduce提供读写接口，提供Hive命令行接口来进行数据定义和元数据查询。基于Hive的HCatalog功能，Hive、MapReduce开发人员能够共享元数据信息，避免中间转换和调整，能够提升数据处理的效率。

查看更多 →

，吸收了Hive的DDL命令。为MapReduce提供读写接口，提供Hive命令行接口来进行数据定义和元数据查询。基于MRS的HCatalog功能，Hive、MapReduce开发人员能够共享元数据信息，避免中间转换和调整，能够提升数据处理的效率。 WebHCat WebHCat运行用户通过Rest

查看更多 →

应用开发指导 MapReduce服务 MRS 二次开发配置和导入样例工程 07:13 二次开发配置和导入样例工程 MapReduce服务 MRS 开发环境准备 03:33 开发环境准备 MapReduce服务 MRS MapReduce任务提交样例 21:47 MapReduce任务提交样例

查看更多 →

如何强制停止Hive执行的MapReduce任务 问题 在Hive执行MapReduce任务长时间卡住的情况下想手动停止任务，需要如何操作？ 回答 登录 FusionInsight Manager。 选择“集群 > 待操作的集群名称 > 服务 > Yarn”。 单击左侧页面的“Re

查看更多 →

如何强制停止Hive执行的MapReduce任务 问题 在Hive执行MapReduce任务长时间卡住的情况下想手动停止任务，需要如何操作？ 回答 登录FusionInsight Manager。 选择“集群 > 服务 > Yarn”。 单击左侧页面的“ResourceManag

查看更多 →

或线程栈太小都会导致此报错。 解决办法 通过调整mapreduce阶段的map和reduce子进程JVM参数中的栈内存解决此问题，主要涉及参数为mapreduce.map.java.opts（调整map的栈内存）和mapreduce.reduce.java.opts（调整redu

查看更多 →

HCatalog是建立在Hive元数据之上的一个表信息管理层，吸收了Hive的DDL命令。为Mapreduce提供读写接口，提供Hive命令行接口来进行数据定义和元数据查询。基于MRS的HCatalog功能，Hive、Mapreduce开发人员能够共享元数据信息，避免中间转换和调整，能够提升数据处理的效率。

查看更多 →

ericStatsEvaluator.init. 解决方案：set hive.map.aggr=false; Hive SQL设置hive.auto.convert.join = true（默认开启）和hive.optimize.skewjoin=true执行报错：ClassCastException

查看更多 →

Hive应用开发简介 Hive介绍 Hive是一个开源的，建立在Hadoop上的数据仓库框架，提供类似SQL的HQL语言操作结构化数据，其基本原理是将HQL语言自动转换成MapReduce任务或Spark任务，从而完成对Hadoop集群中存储的海量数据进行查询和分析。 Hive主要特点如下：

查看更多 →

（可选）配置DWS和MRS Hive 使用数据库水印前，您先完成如下操作前提： 修改DWS集群参数。 为能正常对DWS数据进行敏感数据识别和隐私保护管理，需要提交工单对DWS集群的javaudf_disable_feature参数进行修改，否则将导致操作失败。如果您不涉及DWS数据，则可以不用修改。

查看更多 →

ericStatsEvaluator.init. 解决方案：set hive.map.aggr=false; Hive SQL设置hive.auto.convert.join = true（默认开启）和hive.optimize.skewjoin=true执行报错：ClassCastException

查看更多 →

同步MRS Hive和Hetu权限 在MRS Hetu对接MRS hive数据源并使用Ranger权限管控的场景下，通过Hetu访问同集群的Hive数据源，会统一使用Hetu端的Ranger权限做鉴权，而不受Hive端的Ranger权限管控。 为了避免该场景下需要在Hetu端重复

查看更多 →

Hive支持ZSTD压缩格式 ZSTD（全称为Zstandard）是一种开源的无损数据压缩算法，其压缩性能和压缩比均优于当前Hadoop支持的其他压缩格式，本特性使得Hive支持ZSTD压缩格式的表。Hive支持基于ZSTD压缩的存储格式有常见的ORC、RCFile、TextFi

查看更多 →

批处理主要特点是耗时时间长，消耗的资源比较多，主要的调优和设计推荐如下： 尽量使用ORC File， 配上合适的压缩算法， 主要可选的压缩算法为Zlib和Snappy。其中Zlib压缩比高，但压缩解压时间比Snappy长，消耗资源比如Snappy多。Snappy平衡了的压缩比和压缩解压的性能。推荐使用Snappy。

查看更多 →

Tez任务仅在一个任务中就能完成同样的处理过程，任务之间不需要访问HDFS。 Tez和Yarn间的关系 Tez是运行在Yarn之上的计算框架，运行时环境由Yarn的ResourceManager和ApplicationMaster组成。其中ResourceManager是一个全新的资源

查看更多 →

er.keytab”和“krb5.conf”文件，“hbase-site.xml”从HBase客户端获取，例如：/opt/client/HBase/hbase/conf，“hiveclient.properties”和“hive-site.xml”从Hive客户端获取，例如：/o

查看更多 →

配置MapReduce任务日志归档和清理机制 配置场景 执行一个MapReduce应用会产生两种类型日志文件：作业日志和任务日志。 作业日志由MRApplicationMaster产生，详细记录了作业启动时间、运行时间，每个任务启动时间、运行时间、Counter值等信息。此日志内

查看更多 →

配置MapReduce任务日志归档和清理机制 配置场景 执行一个MapReduce应用会产生两种类型日志文件：作业日志和任务日志。 作业日志由MRApplicationMaster产生，详细记录了作业启动时间、运行时间，每个任务启动时间、运行时间、Counter值等信息。此日志内

查看更多 →