依赖NodeManager的remote shuffle Spark任务受影响，Flink任务有概率失败，Hive任务有概率失败。 滚动重启10节点耗时约25分钟。 Spark2x 直接重启 仅影响Spark Thrift任务，SparkSQL、Spark Submit任务不受影响。 直接重启耗时约5分钟。

查看更多 →

点以及华为鲲鹏大数据等； （2）常用且重要大数据组件基础技术原理（包括HBase, Hive, Loader, MapReduce, YARN, HDFS, Spark, Flume, Kafka, ElasticSearch, ZooKeeper, Flink, Redis）；

查看更多 →

解决Tez分区空目录报错，报目录不存在问题 解决MR任务提交慢问题 解决Spark2x创建UDF的jar包放到OBS路径上会查询UDF报错 解决Alluxio jar包冲突问题 解决Executor日志滚动不释放问题 解决Hive元数据库查询网络阻塞问题 解决 MRS 对接D CS 做缓存，缓存键一天多次被清空问题 解决CBG访问OBS概率性无权限问题

查看更多 →

KrbServer及LdapServer Kudu Loader Manager MapReduce MemArtsCC Oozie OpenTSDB Presto Ranger Spark Spark2x StarRocks Storm Tez YARN ZooKeeper

查看更多 →

执行analyze table语句，因资源不足出现任务卡住 问题 使用spark-sql执行analyze table语句，任务一直卡住，打印的信息如下： spark-sql> analyze table hivetable2 compute statistics; Query ID

查看更多 →

SQL作业。 SparkSubmit：提交Spark Jar和Spark Python程序，运行Spark Application计算和处理用户数据。 SparkScript：提交SparkScript脚本，批量执行Spark SQL语句。 Spark SQL：使用Spark提供的类似SQL的Spark

查看更多 →

操作步骤 参考获取MRS应用开发样例工程，获取样例代码解压目录中“src\oozie-examples\oozienormal-examples”目录下的“OozieMapReduceExample、OozieSparkHBaseExample和OozieSparkHiveExample三个样例工程。

查看更多 →

只有包含Spark和Hive组件的集群才能新增Spark和Hive类型的作业。 取值范围： 1：MapReduce 2：Spark 3：Hive Script 4：HiveSQL（当前不支持） 5：DistCp，导入、导出数据。 6：Spark Script 7：Spark SQL，提交SQL语句，（该接口当前不支持）

查看更多 →

MRS MapReduce 功能 通过MRS MapReduce节点实现在MRS中执行预先定义的MapReduce程序。 参数 用户可参考表1和表2配置MRS MapReduce节点的参数。 表1 属性参数 参数 是否必选 说明 节点名称 是 节点名称，可以包含中文、英文字母、数

查看更多 →

依赖NodeManager的remote shuffle Spark任务受影响，Flink任务有概率失败，Hive任务有概率失败。 滚动重启10节点耗时约25分钟。 Spark2x 直接重启 仅影响Spark Thrift任务，SparkSQL、Spark Submit任务不受影响。 直接重启耗时约5分钟。

查看更多 →

同一个网络下可以有多个MRS数据源， 但是 GaussDB (DWS)集群每次只能和一个MRS集群建立连接。 在GaussDB(DWS) 集群创建一个MRS数据源连接，具体操作步骤请参见创建MRS数据源连接。 使用MRS数据源导入数据到集群，具体操作请参见使用MRS数据源。 （可选）当MRS集群的H

查看更多 →

开发MapReduce应用 MapReduce统计样例程序 MapReduce访问多组件样例程序 父主题： MapReduce开发指南（普通模式）

查看更多 →

MapReduce接口介绍 MapReduce Java API接口介绍 MapReduce REST API接口介绍 父主题： MapReduce应用开发常见问题

查看更多 →

176:21003/oozie 选择运行的样例工程： OozieMapReduceExcample样例工程，执行5。 OozieSparkHBaseExample和OozieSparkHiveExample样例工程，请参考使用Oozie调度Spark2x访问HBase以及Hive。 使用客户端上传

查看更多 →

普通模式，执行5。 配置Hue。 Spark2x环境配置（如果不涉及spark2x任务，可以跳过此步骤）： hdfs dfs -put /opt/client/Spark2x/spark/jars/*.jar /user/oozie/share/lib/spark2x/ 当HDFS目录“/

查看更多 →

DLV 的数据连接支持以下几种： 数据库类：包括 数据仓库 服务（DWS）、 数据湖探索 服务（ DLI ）、 MapReduce服务 （MRS）的Hive、MapReduce服务（MRS）的SparkSQL、云数据库（RDS）MySQL、云数据库（RDS）PostgreSQL、云数据库（RDS）SQL

查看更多 →

(主机名称，主)”。 Spark JobHistory MRS 3.x之前版本集群，在集群详情页选择“组件管理 > Spark > Spark WebUI > JobHistory”。 MRS 3.x及以后版本集群，在Manager页面选择“集群 > 服务 > Spark2x > Spark2x

查看更多 →

0.0 5.1.2 5.1.2 Ranger 1.0.1 2.0.0 2.0.0 2.0.0 2.0.0 2.3.0 2.3.0 Spark/Spark2x 2.2.2 2.4.5 3.1.1 3.1.1 3.1.1 3.3.1 3.3.1 Sqoop - 1.4.7 - 1.4.7

查看更多 →

Spark Core 日志聚合下如何查看Spark已完成应用日志 Driver返回码和RM WebUI上应用状态显示不一致 为什么Driver进程不能退出 网络连接超时导致FetchFailedException 当事件队列溢出时如何配置事件队列的大小 Spark应用执行过程中，

查看更多 →

Spark输入 概述 “Spark输入”算子，将SparkSQL表的指定列转换成同等数量的输入字段。 输入与输出 输入：SparkSQL表列 输出：字段 参数说明 表1 算子参数说明 参数 含义 类型 是否必填 默认值 Spark数据库 SparkSQL的数据库名称。 String

查看更多 →

MRS Spark 功能 通过MRS Spark节点实现在MRS中执行预先定义的Spark作业。 参数 用户可参考表1，表2和表3配置MRS Spark节点的参数。 表1 属性参数 参数 是否必选 说明 节点名称 是 节点名称，可以包含中文、英文字母、数字、“_”、“-”、“/”

查看更多 →