个HiveServer的性能，主要包括HiveMetaStore访问时间，访问次数，连接并发数。 MapReduce/Spark：以该组件进行执行时，MapReduce/Spark执行的情况直接引影响到Hive的性能，如每个任务的大小，任务与资源分配均匀度，任务拆分合理度等。 H

查看更多 →

作业管理 作业管理为用户提供向集群提交作业的入口，支持包括MapReduce、Spark、HQL和SparkSQL等类型的作业。结合华为云 数据治理中心 DataArts Studio，提供一站式的大数据协同开发环境、全托管的大数据调度能力，帮助用户快速构建大数据处理中心。 通过 数据治理 中心DataArts

查看更多 →

当设置向量化参数hive.vectorized.execution.enabled=true时，为什么执行hive on Tez/Mapreduce/Spark时会偶现一些空指针或类型转化异常？ 回答 当前Hive不支持向量化执行，向量化执行有很多社区问题引入目前没有稳定修复，默认hive

查看更多 →

当设置向量化参数hive.vectorized.execution.enabled=true时，为什么执行hive on Tez/Mapreduce/Spark时会偶现一些空指针或类型转化异常？ 回答 当前Hive不支持向量化执行，向量化执行有很多社区问题引入目前没有稳定修复，默认hive

查看更多 →

。 用户名称 提交作业的用户名称。 作业类型 支持的作业类型： Distcp：导入、导出数据 MapReduce Spark SparkSubmit SparkScript Spark SQL Hive SQL HiveScript Flink Flink SQL HadoopStreaming

查看更多 →

了简单的类SQL查询语言，称为HQL，它允许熟悉SQL的用户查询数据。Hive的数据计算依赖于MapReduce、Spark、Tez。 使用新的执行引擎Tez代替原先的MapReduce，性能有了显著提升。Tez可以将多个有依赖的作业转换为一个作业（这样只需写一次HDFS，且中间

查看更多 →

“${BIGDATA_HOME}/third_lib/Hive”内。 当前自定义jar包支持的组件包括：HDFS、Yarn、Mapreduce、Spark、HBase、Hive。 Hive支持的自定义jar仅为用户开发的Hive自定义函数UDF代码实现的jar，不允许在放置目录下

查看更多 →

spark-shell执行SQL跨文件系统load数据到Hive表失败 用户问题 使用spark-shell命令执行SQL或者spark-submit提交的Spark任务里面有SQL的load命令，并且原数据和目标表存储位置不是同一套文件系统，上述两种方式MapReduce任务启动时会报错。

查看更多 →

性：在通用的商用硬件上运行，可水平扩展，提供高可用性。 Kudu的设计具有以下优点： 能够快速处理OLAP工作负载。 支持与MapReduce，Spark和其他Hadoop生态系统组件集成。 与Apache Impala的紧密集成，使其成为将HDFS与Apache Parquet结合使用的更好选择。

查看更多 →

特性：在通用的商用硬件上运行，可水平扩展，提供高可用性。 Kudu的设计具有以下优点： 能够快速处理OLAP工作负载 支持与MapReduce，Spark和其他Hadoop生态系统组件集成 与Apache Impala的紧密集成，使其成为将HDFS与Apache Parquet结合使用的更好选择

查看更多 →

用户名/logs）。 日志已被清理（spark的JobHistory默认存放7天的eventLog，配置项为spark.history.fs.cleaner.maxAge；MapReduce默认存放15天的任务日志，配置项为mapreduce.jobhistory.max-age-ms）。

查看更多 →

云容器引擎服务介绍 集群操作指导 MapReduce服务 MRS 创建MRS集群 04:11 创建MRS集群 MapReduce服务 MRS 修改服务配置参数 04:01 MRS修改服务配置参数指导 MapReduce服务 MRS 配置MRS集群弹性伸缩 03:44 配置MRS集群弹性伸缩 MapReduce服务

查看更多 →

。 Hive与Spark的关系 Hive支持使用Spark作为执行引擎，当执行引擎切换为Spark后，客户端下发的Hive SQL在Hive端进行逻辑层处理和生成物理执行计划，并将执行计划转换成RDD语义下的DAG，最后将DAG作为Spark的任务提交到Spark集群上进行计算，

查看更多 →

ples/OozieSparkHBaseExample 使用Oozie调度Spark访问HBase的示例程序。 oozie-examples/ooziesecurity-examples/OozieSparkHiveExample 使用Oozie调度Spark访问Hive的示例程序。

查看更多 →

mples/OozieSparkHBaseExample 使用Oozie调度Spark访问HBase的示例程序。 oozie-examples/oozienormal-examples/OozieSparkHiveExample 使用Oozie调度Spark访问Hive的示例程序。

查看更多 →

MapReduce MapReduce基本原理 MapReduce与其他组件的关系 MapReduce开源增强特性 父主题： 组件介绍

查看更多 →

仓库服务 GaussDB （DWS），MapReduce服务MRS，云数据库RDS等。使用 DLI 的跨源能力，需要先创建跨源连接。 管理控制台界面具体操作请参考《 数据湖探索 用户指南》。 使用Spark作业跨源访问数据源支持使用scala，pyspark和java三种语言进行开发。 表格

查看更多 →

新建MRS SparkSQL数据连接 连接MRS SparkSQL前，需要满足以下条件： 已创建一个包含Spark组件的MRS 2.x之前版本集群，并且请确保MRS集群已关闭Kerberos认证。对于开启Kerberos认证的MRS SparkSQL数据源， DLV 暂不支持。 已获取MRS

查看更多 →

性：在通用的商用硬件上运行，可水平扩展，提供高可用性。 Kudu的设计具有以下优点： 能够快速处理OLAP工作负载。 支持与MapReduce，Spark和其他Hadoop生态系统组件集成。 与Apache Impala的紧密集成，使其成为将HDFS与Apache Parquet结合使用的更好选择。

查看更多 →

Spark Spark jar包冲突列表 Jar包名称 描述 处理方案 spark-core_2.1.1-*.jar Spark任务的核心jar包。 Spark可以直接使用开源同版本的Spark包运行样例代码，但是不同版本的spark-core包在使用的时候可能导致互相序列化ID不一样，因此建议使用集群自带jar包。

查看更多 →

Yarn与其他组件的关系 Yarn和Spark组件的关系 Spark的计算调度方式，可以通过Yarn的模式实现。Spark共享Yarn集群提供丰富的计算资源，将任务分布式的运行起来。Spark on Yarn分两种模式：Yarn Cluster和Yarn Client。 Yarn

查看更多 →