行编译调测，用于实现 MRS 集群中的Hive表的创建、数据插入、读取等操作。 创建MRS Hive集群 购买一个包含有Hive组件的MRS集群，详情请参见购买自定义集群。 本文以购买的MRS 3.1.5版本的集群为例，组件包含Hadoop、Hive组件，集群开启Kerberos认证。

查看更多 →

业。 图1 Hive基于MapReduce提交任务和基于Tez提交任务流程图 Hive on MapReduce任务中包含多个MapReduce任务，每个任务都会将中间结果存储到HDFS上——前一个步骤中的reducer为下一个步骤中的mapper提供数据。Hive on Tez

查看更多 →

Hive支持ZSTD压缩格式 ZSTD（全称为Zstandard）是一种开源的无损数据压缩算法，其压缩性能和压缩比均优于当前Hadoop支持的其他压缩格式，本特性使得Hive支持ZSTD压缩格式的表。Hive支持基于ZSTD压缩的存储格式有常见的ORC，RCFile，TextFi

查看更多 →

Hive支持ZSTD压缩格式 ZSTD（全称为Zstandard）是一种开源的无损数据压缩算法，其压缩性能和压缩比均优于当前Hadoop支持的其他压缩格式，本特性使得Hive支持ZSTD压缩格式的表。Hive支持基于ZSTD压缩的存储格式有常见的ORC，RCFile，TextFi

查看更多 →

Hive常见问题 如何删除所有HiveServer中的永久函数 为什么已备份的Hive表无法执行drop操作 如何在Hive自定义函数中操作本地文件 如何强制停止Hive执行的MapReduce任务 Hive不支持复杂类型字段名称中包含哪些特殊字符 如何对Hive表大小数据进行监控

查看更多 →

Hive 创建Hive Catalog Hive方言 Hive源表 Hive结果表 Hive维表 使用Temporal join关联维表的最新分区 使用Temporal join关联维表的最新版本 父主题： Connector列表

查看更多 →

Hive Hive基本原理 Hive CBO原理介绍 Hive与其他组件的关系 Hive开源增强特性 父主题： 组件介绍

查看更多 →

MRS Hive为非全托管服务， DLV 无法直接与非全托管服务进行连接。 CDM 集群提供了DLV与非全托管服务通信的代理。 数据库名 单击“获取数据库”，在列表框中选择数据库。 填写完数据源信息后，单击“确定”即可完成MRS Hive数据连接的添加。 使用MapReduce服务（MRS

查看更多 →

JobHistory直接内存使用率超过阈值 > 定位信息”。查看告警上报的实例的IP地址。 在 FusionInsight Manager首页，选择“集群 > 待操作集群的名称 > 服务 > MapReduce > 实例 > JobHistoryServer（对应上报告警实例IP地址）”，单击图表区域右上角的下拉菜单，选择“定制

查看更多 →

Hive常见问题 如何删除所有HiveServer中的永久函数 为什么已备份的Hive表无法执行drop操作 如何在Hive自定义函数中操作本地文件 如何强制停止Hive执行的MapReduce任务 Hive不支持复杂类型字段名称中包含哪些特殊字符 如何对Hive表大小数据进行监控

查看更多 →

当使用load导入数据到Hive表的时候，属于需要跨文件系统的情况（例如原数据在HDFS上，而Hive表数据存放在OBS上），并且文件长度大于阈值（默认32 MB），则会触发使用distcp的MapReduce任务来执行数据迁移操作。这个MapReduce任务配置直接从Spark任

查看更多 →

e驱动包gsjdbc4-*.jar，与开源postgre服务不兼容导致报错。 报错中type为12时：数据库的pg_hba.conf文件配置有误。 解决方案： 报错中type为5时：在每台MRS NodeManager实例所在节点上移动驱动包gsjdbc4-*.jar到tmp目录下。

查看更多 →

”。系统定义的Hive与Hetu间的策略映射关系如表2所示。 表2 Hive与Hetu的策略映射关系 Hive Hetu 资源映射关系 hive数据源 Hetu Catalog hive数据库 Hetu Schema hive表 Hetu表 hive列 Hetu列 权限映射关系 select

查看更多 →

导出静态资源池监控数据 服务管理 启动服务 停止服务 同步服务配置 刷新服务队列 定制服务监控指标 重启服务 导出服务监控数据 导入服务配置数据 启动服务的健康检查 导出服务健康检查的结果 服务配置 上传配置文件 下载配置文件 实例管理 同步实例配置 实例入服 实例退服 启动实例 停止实例 定制实例监控指标

查看更多 →

参数 说明 连接地址 MRS_HIVE数据库的IP地址。 端口 MRS_HIVE数据库的端口号。 域名 MRS_HIVE数据库的域名。 数据库名称 MRS_HIVE数据库服务的名称。 用户名 MRS_HIVE的机机类型用户名。 keytab MRS_HIVE配置文件。配置文件获取请参考下方获取MRS

查看更多 →

GzipCodec 如需要全局设置，即对所有表都进行压缩，可以在Manager页面对Hive的服务配置参数进行如下全局配置： hive.exec.compress.output设置为true mapreduce.output.fileoutputformat.compress.codec设置为org

查看更多 →

处理步骤 Hive在执行SQL语句前，可以通过set命令来设置Map/Reduce相关客户端参数。 以下为与Map/Reduce内存相关的参数： set mapreduce.map.memory.mb=4096;// 每个Map Task需要的内存量 set mapreduce.map

查看更多 →

MRS支持为大规格的集群默认安装Presto多实例，即一个Core/Task节点上安装多个Worker实例，分别为Worker1，Worker2，Worker3… ，多个Worker实例共同与Coordinator交互执行计算任务，相比较单实例，能够大大提高节点资源的利用率和计算效率。 商用 Presto简介 历史变更

查看更多 →

MultiComponentExample 查看调测结果 通过MapReduce服务的WebUI进行查看 使用具有任务查看权限的用户登录FusionInsight Manager，单击“集群 > 待操作集群的名称 > 服务 > Mapreduce ＞ JobHistoryServer”进入Web界面后查看任务执行状态。

查看更多 →

MultiComponentExample 查看调测结果 通过MapReduce服务的WebUI进行查看 使用具有任务查看权限的用户登录FusionInsight Manager，单击“集群 > 待操作集群的名称 > 服务 > Mapreduce ＞ JobHistoryServer”进入Web界面后查看任务执行状态。

查看更多 →

MultiComponentExample 查看调测结果 通过MapReduce服务的WebUI进行查看 使用具有任务查看权限的用户登录FusionInsight Manager，单击“集群 > 待操作集群的名称 > 服务 > Mapreduce ＞ JobHistoryServer”进入Web界面后查看任务执行状态。

查看更多 →