手段，通过接口查看Hive对整个SQL语句是如何进行任务的分解和编排，并结合MapReduce/Spark的执行情况针对性的进行任务的优化。 HiveMetaStore：因为Hive的MetaStore可能是外部的独立数据库，所以它的性能也会影响到整个HiveServer的性能，

查看更多 →

能力是通过对HQL（Hive Query Language）编译和解析，生成并执行相应的MapReduce任务或者HDFS操作。 图1 Hive结构 约束与限制 需要在Manager的“系统 > 权限 > 用户”界面上创建一个LDAP中已存在的同名用户，并添加“hive”和“ha

查看更多 →

行编译调测，用于实现 MRS 集群中的Hive表的创建、数据插入、读取等操作。 创建MRS Hive集群 购买一个包含有Hive组件的MRS集群，详情请参见购买自定义集群。 本文以购买的MRS 3.1.5版本的集群为例，组件包含Hadoop、Hive组件，集群开启Kerberos认证。

查看更多 →

mode=nonstrict; 动态分区可能导致一个DML语句创建大量的分区，对应创建大量新文件夹，对系统性能可能带来影响。 在文件数量大的情况下，执行一个SQL语句启动时间较长，可以在执行SQL语句之前执行“set mapreduce.input.fileinputformat.list-status.num-threads

查看更多 →

，吸收了Hive的DDL命令。为MapReduce提供读写接口，提供Hive命令行接口来进行数据定义和元数据查询。基于MRS的HCatalog功能，Hive、MapReduce开发人员能够共享元数据信息，避免中间转换和调整，能够提升数据处理的效率。 WebHCat WebHCat运行用户通过Rest

查看更多 →

Hive应用开发常用概念 客户端 客户端直接面向用户，可通过Java API、Thrift API访问服务端进行Hive的相关操作。本文中的Hive客户端特指Hive client的安装目录，里面包含通过Java API访问Hive的样例代码。 HiveQL语言 Hive Query

查看更多 →

HCatalog HCatalog是建立在Hive元数据之上的一个表信息管理层，吸收了Hive的DDL命令。为Mapreduce提供读写接口，提供Hive命令行接口来进行数据定义和元数据查询。基于MRS的HCatalog功能，Hive、Mapreduce开发人员能够共享元数据信息，避免中间转换和调整，能够提升数据处理的效率。

查看更多 →

ZooKeeper和第三方的ZooKeeper。 hive-jdbc-example-multizk hcatalog-example Hive HCatalog处理数据Java示例程序。 使用HCatalog接口实现通过Hive命令行方式对MRS Hive元数据进行数据定义和查询操作。 python3-examples

查看更多 →

，Hive、MapReduce开发人员能够共享元数据信息，避免中间转换和调整，能够提升数据处理的效率。 WebHCat WebHCat运行用户通过Rest API来执行Hive DDL，提交MapReduce任务，查询MapReduce任务执行结果等操作。 父主题： Hive开发指南（普通模式）

查看更多 →

set mapreduce.reduce.memory.mb=8192; set mapreduce.reduce.java.opts=-Xmx6554M; 对于Tez任务，增大下列参数： set hive.tez.container.size=8192; Hive SQL对列名a

查看更多 →

Hudi作为一种数据格式，元数据存放在Hive中，操作通过Spark进行。因此数据目录通过MRS Hive采集Hudi元数据，数据架构和数据质量通过MRS Spark对Hudi数据源进行治理（数据质量业务指标监控暂不支持Hudi数据源）。 [2] 数据目录：数据目录组件除了上表中列出

查看更多 →

进行IAM用户同步）。 MRS 3.x及后续版本，登录 FusionInsight Manager，然后选择“集群 > 待操作的集群名称 > 服务 > Hive > 配置 > 全部配置”。 在hiveserver自定义参数界面添加自定义参数mapreduce.map.java.opts及相应的值。

查看更多 →

Manager，具体请参见访问FusionInsight Manager（MRS 3.x及之后版本）。然后选择“集群 > 待操作的集群名称 > 服务 > Hive > 配置 > 全部配置”。 选择“MetaStore（角色） > 自定义”，对参数文件“hivemetastore-site

查看更多 →

，以及它们的任务管理和监控。 在Hue前端提供图形化工作流、Coordinator、Bundle编辑器，Hue调用Oozie REST接口对工作流、Coordinator、Bundle进行创建、修改、删除、提交、监控。 ZooKeeper ZooKeeper提供REST接口与Hu

查看更多 →

= readHBase(); // 2. 读取Hive数据 String hiveData = readHive(name); // Map输出键值对，内容为HBase与Hive数据拼接的字符串 context.write(new

查看更多 →

计算能力，能够对结构化/半结构化数据进行批量分析汇总完成数据计算。提供类似SQL的Hive Query Language语言操作结构化数据，其基本原理是将HQL语言自动转换成MapReduce任务，从而完成对Hadoop集群中存储的海量数据进行查询和分析。 Hive主要特点如下：

查看更多 →

Archives功能实现的，Hadoop Archives启动的并行归档任务数（Map数）与待归档的日志文件总大小有关。计算公式为：并行归档任务数=待归档的日志文件总大小/归档文件大小。 配置描述 进入Mapreduce服务参数“全部配置”界面，具体操作请参考修改集群服务配置参数章节。 在搜索框中输入参数名称

查看更多 →

Archives功能实现的，Hadoop Archives启动的并行归档任务数（Map数）与待归档的日志文件总大小有关。计算公式为：并行归档任务数=待归档的日志文件总大小/归档文件大小。 配置描述 进入Mapreduce服务参数“全部配置”界面，具体操作请参考修改集群服务配置参数章节。 在搜索框中输入参数名称

查看更多 →

本工程使用JDBC接口连接Hive，在Hive中执行相关数据操作。使用JDBC接口实现创建表、加载数据、查询数据等功能。 Hive HCatalog处理数据Java示例程序。 使用HCatalog接口实现通过Hive命令行方式对MRS Hive元数据进行数据定义和查询操作。 Impala impala-examples

查看更多 →

oozie-examples/ooziesecurity-examples/OozieMapReduceExample Oozie提交MapReduce任务示例程序。 本示例演示了如何通过Java API提交MapReduce作业和查询作业状态，对网站的日志文件进行离线分析。 oozie-examples/

查看更多 →

EXPLAIN EXPLAIN [EXTENDED|DEPENDENCY] query 对相关表目录具有RX权限。 VIEW CREATE VIEW view_name AS SELECT ... 对相关表拥有SELECT且带有WITH GRANT OPTION的权限。 ALTER VIEW

查看更多 →