Spark Core 日志聚合下，如何查看Spark已完成应用日志 Driver返回码和RM WebUI上应用状态显示不一致 为什么Driver进程不能退出 网络连接超时导致FetchFailedException 当事件队列溢出时如何配置事件队列的大小 Spark应用执行过程中

查看更多 →

Spark输入 概述 “Spark输入”算子，将SparkSQL表的指定列转换成同等数量的输入字段。 输入与输出 输入：SparkSQL表列 输出：字段 参数说明 表1 算子参数说明 参数 含义 类型 是否必填 默认值 Spark数据库 SparkSQL的数据库名称。 String

查看更多 →

Spark输出 概述 “Spark输出”算子，用于配置已生成的字段输出到SparkSQL表的列。 输入与输出 输入：需要输出的字段 输出：SparkSQL表 参数说明 表1 算子参数说明 参数 含义 类型 是否必填 默认值 Spark文件存储格式 配置SparkSQL表文件的存储

查看更多 →

只有包含Spark和Hive组件的集群才能新增Spark和Hive类型的作业。 取值范围： 1：MapReduce 2：Spark 3：Hive Script 4：HiveSQL（当前不支持） 5：DistCp，导入、导出数据。 6：Spark Script 7：Spark SQL，提交SQL语句，（该接口当前不支持）

查看更多 →

执行analyze table语句，因资源不足出现任务卡住 问题 使用spark-sql执行analyze table语句，任务一直卡住，打印的信息如下： spark-sql> analyze table hivetable2 compute statistics; Query ID

查看更多 →

操作步骤 参考获取 MRS 应用开发样例工程，获取样例代码解压目录中“src\oozie-examples\oozienormal-examples”目录下的“OozieMapReduceExample、OozieSparkHBaseExample和OozieSparkHiveExample三个样例工程。

查看更多 →

依赖NodeManager的remote shuffle Spark任务受影响，Flink任务有概率失败，Hive任务有概率失败。 滚动重启10节点耗时约25分钟。 Spark2x 直接重启 仅影响Spark Thrift任务，SparkSQL、Spark Submit任务不受影响。 直接重启耗时约5分钟。

查看更多 →

KrbServer及LdapServer Kudu Loader Manager MapReduce MemArtsCC Oozie OpenTSDB Presto Ranger Spark Spark2x Storm Tez YARN ZooKeeper

查看更多 →

依赖NodeManager的remote shuffle Spark任务受影响，Flink任务有概率失败，Hive任务有概率失败。 滚动重启10节点耗时约25分钟。 Spark/Spark2x 直接重启 仅影响Spark Thrift任务，SparkSQL、Spark Submit任务不受影响。 直接重启耗时约5分钟。

查看更多 →

开发MapReduce应用 MapReduce统计样例程序 MapReduce访问多组件样例程序 父主题： MapReduce开发指南（普通模式）

查看更多 →

MapReduce接口介绍 MapReduce Java API接口介绍 MapReduce REST API接口介绍 父主题： MapReduce应用开发常见问题

查看更多 →

普通模式，执行5。 配置Hue。 spark2x环境配置（如果不涉及spark2x任务，可以跳过此步骤）： hdfs dfs -put /opt/client/Spark2x/spark/jars/*.jar /user/oozie/share/lib/spark2x/ 当HDFS目录“/

查看更多 →

数据库类 DLV 支持以下几种数据库： 数据仓库 服务（DWS） 数据湖探索 （ DLI ） MapReduce服务（MRS Hive） MapReduce服务（MRS SparkSQL） MapReduce服务（ClickHouse） 云数据库 MySQL 云数据库 PostgreSQL 云数据库

查看更多 →

176:21003/oozie 选择运行的样例工程： OozieMapReduceExample样例工程，执行5。 OozieSparkHBaseExample和OozieSparkHiveExample样例工程，请参考使用Oozie调度Spark2x访问HBase以及Hive。 使用客户端上传

查看更多 →

Loader JD BCS erver Spark JobHistory Spark SparkResource Spark JDB CS erver2x Spark2x JobHistory2x Spark2x SparkResource2x Spark2x MetaStore Hive

查看更多 →

系统每15分钟周期性检测提交到Yarn上的Mapreduce和Spark应用任务（JDBC常驻任务除外），当检测到任务执行时间超过用户指定的超时时间时，产生该告警，但任务仍继续正常执行。其中，Mapreduce的客户端超时参数为“mapreduce.application.timeout

查看更多 →

依赖NodeManager的remote shuffle Spark任务受影响，Flink任务有概率失败，Hive任务有概率失败。 滚动重启10节点耗时约25分钟。 Spark/Spark2x 直接重启 仅影响Spark Thrift任务，SparkSQL、Spark Submit任务不受影响。 直接重启耗时约5分钟。

查看更多 →

HDFS和MapReduce的关系 HDFS是Hadoop分布式文件系统，具有高容错和高吞吐量的特性，可以部署在价格低廉的硬件上，存储应用程序的数据，适合有超大数据集的应用程序。 而MapReduce是一种编程模型，用于大数据集（大于1TB）的并行运算。在MapReduce程序中计

查看更多 →

LakeFormation服务的元数据所映射的实际业务数据，存储在OBS桶的目录和文件中。 MapReduce服务（MapReduce Service，MRS） LakeFormation与MRS集群中的Ranger、Hive、Spark对接，实现湖、仓元数据统一管理。 数据仓库服务（DWS） LakeF

查看更多 →

使用Spark/Spark2x Spark使用说明 Spark用户权限管理 Spark客户端使用实践 访问Spark WebUI界面 使用代理用户提交Spark作业 配置Spark读取HBase表数据 配置Spark任务不获取HBase Token信息 Spark Core企业级能力增强

查看更多 →

DLV的数据连接支持以下几种： 数据库类：包括数据仓库服务（DWS）、 数据湖 探索服务（DLI）、 MapReduce服务 （MRS）的Hive、MapReduce服务（MRS）的SparkSQL、云数据库（RDS）MySQL、云数据库（RDS）PostgreSQL、云数据库（RDS）SQL

查看更多 →