Hive是一个开源的，建立在Hadoop上的 数据仓库 框架，提供类似SQL的HQL语言操作结构化数据，其基本原理是将HQL语言自动转换成MapReduce任务或Spark任务，从而完成对Hadoop集群中存储的海量数据进行查询和分析。 Hive主要特点如下： 通过HQL语言非常容易的完成数据提取、转换和加载（ETL）。

查看更多 →

(主机名称，主)”。 Spark JobHistory MRS 3.x之前版本集群，在集群详情页选择“组件管理 > Spark > Spark WebUI > JobHistory”。 MRS 3.x及以后版本集群，在Manager页面选择“集群 > 服务 > Spark2x > Spark2x

查看更多 →

开发MapReduce应用 MapReduce统计样例程序开发思路 MapReduce访问多组件样例程序开发思路 父主题： MapReduce开发指南

查看更多 →

MapReduce接口介绍 MapReduce Java API接口介绍 父主题： MapReduce应用开发常见问题

查看更多 →

开发MapReduce应用 MapReduce统计样例程序 MapReduce访问多组件样例程序 父主题： MapReduce开发指南（普通模式）

查看更多 →

MapReduce接口介绍 MapReduce Java API接口介绍 MapReduce REST API接口介绍 父主题： MapReduce应用开发常见问题

查看更多 →

ion失败问题。 解决Flink指定COMPLEX创建的hudi表，spark写失败，报KeyGenerator冲突问题。 解决Flink提交作业错误提示问题。 解决Flink作业异常退出，同一个key的数据做分区变更报NPE的问题。 解决Flink作业读hudi log文件报错Did

查看更多 →

如果需要在Spark2x客户端用Spark on HBase功能，需要重新下载并安装Spark2x客户端。 在Spark2x客户端使用spark-sql或者spark-beeline连接，可以查询由Hive on HBase所创建的表，支持通过SQL命令创建HBase表或创建外表关联

查看更多 →

an访问OBS 配置Hive通过Guardian访问OBS 配置Hudi通过Guardian访问OBS 配置Mapreduce通过Guardian访问OBS 配置Spark通过Guardian访问OBS 配置Yarn通过Guardian访问OBS 父主题： 配置MRS集群通过Guardian对接OBS

查看更多 →

当设置向量化参数hive.vectorized.execution.enabled=true时，为什么执行hive on Tez/Mapreduce/Spark时会偶现一些空指针或类型转化异常？ 回答 当前MRS Hive不支持向量化执行。 向量化执行有很多社区问题引入目前没有稳定修复，默认hive

查看更多 →

依赖NodeManager的remote shuffle Spark任务受影响，Flink任务有概率失败，Hive任务有概率失败。 滚动重启10节点耗时约25分钟。 Spark/Spark2x 直接重启 仅影响Spark Thrift任务，SparkSQL、Spark Submit任务不受影响。 直接重启耗时约5分钟。

查看更多 →

当设置向量化参数hive.vectorized.execution.enabled=true时，为什么执行hive on Tez/Mapreduce/Spark时会偶现一些空指针或类型转化异常？ 回答 当前Hive不支持向量化执行。 向量化执行有很多社区问题引入目前没有稳定修复，默认hive

查看更多 →

依赖NodeManager的remote shuffle Spark任务受影响，Flink任务有概率失败，Hive任务有概率失败。 滚动重启10节点耗时约25分钟。 Spark2x 直接重启 仅影响Spark Thrift任务，SparkSQL、Spark Submit任务不受影响。 直接重启耗时约5分钟。

查看更多 →

）、subtract（本RDD有、其他RDD无的元素留下来）和sample（采样）。 视RDD的元素为Key-Value对。 对单个RDD做一对一运算，如mapValues（保持源RDD的分区方式，这与map不同）； 对单个RDD重排，如sort、partitionBy（实现一致

查看更多 →

Hadoop服务内的组件（MapReduce、Yarn和HDFS）不支持单独添加。 未安装Hadoop的集群，在添加Hadoop后，需要刷新管理控制台界面并重新进行IAM用户同步后，才能在作业管理页签中成功提交作业。 添加Spark2x/Spark组件后，如需在Hue WebUI操作SparkSQL，请先重启Hue服务。

查看更多 →

GC，需要优化GC。把RDD做Cache操作，通过日志查看RDD在内存中的大小，如果数据太大，需要改变RDD的存储级别来优化。 操作步骤 优化GC，调整老年代和新生代的大小和比例。在客户端的conf/spark-default.conf配置文件中，在spark.driver.extraJavaOptions和spark

查看更多 →

配置HDFS通过IAM委托访问OBS 配置Hive通过IAM委托访问OBS 配置Hudi通过IAM委托访问OBS 配置MapReduce通过IAM委托访问OBS 配置Presto通过IAM委托访问OBS 配置Spark通过IAM委托访问OBS 配置Sqoop通过IAM委托访问OBS 父主题： 配置MRS集群通过IAM委托对接OBS

查看更多 →

通 DLI Spark通用队列与DWS的网络连接，否则会导致静态脱敏任务失败。 MapReduce服务（MRS Hive） 使用MRS Hive所在的MRS集群 MapReduce服务（MRS Hive）所在的MRS集群必须开启Kerberos认证，且必须安装Spark组件。 MR

查看更多 →

华为云大数据存算分离方案中，OBS支持与多种大数据平台对接，包括华为云MapReduce服务（MRS）、Cloudera CDH和Hortonworks HDP，满足用户业务的灵活诉求。 华为云MapReduce服务（MRS） 华为云MapReduce服务（MRS）是华为云提供的大数据服务，可以在华为

查看更多 →

删除的后果 /tmp/spark2x/sparkhive-scratch 固定目录 存放Spark2x JD BCS erver中metastore session临时文件 否 任务运行失败 /tmp/sparkhive-scratch 固定目录 存放Spark2x cli方式运行metastore

查看更多 →

）、subtract（本RDD有、其他RDD无的元素留下来）和sample（采样）。 视RDD的元素为Key-Value对。 对单个RDD做一对一运算，如mapValues（保持源RDD的分区方式，这与map不同）； 对单个RDD重排，如sort、partitionBy（实现一致

查看更多 →