带单位，否则会启动失败。 driverCores 1-4 Spark应用Driver的CPU核数。该配置项会替换“sc_type”中对应的默认参数。 driverMemory 1-16 G Spark应用的Driver内存，参数配置例如：2G, 2048M。该配置项会替换“sc_

查看更多 →

UDF功能的权限控制机制 由于Kafka配置的限制，导致Spark Streaming应用运行失败 执行Spark Core应用，尝试收集大量数据到Driver端，当Driver端内存不足时，应用挂起不退出 Spark应用名在使用yarn-cluster模式提交时不生效 如何使用IDEA远程调试 如何采用Java命令提交Spark应用

查看更多 →

默认值 描述 spark.driver.memory 4G 指定用于driver端进程的内存，其中SparkContext已初始化。 说明： 在客户端模式下，不要使用SparkConf在应用程序中设置该参数，因为驱动程序JVM已经启动。要配置该参数，请在--driver-memory命令行选项或默认属性文件中进行配置。

查看更多 →

Streaming应用运行失败 执行Spark Core应用，尝试收集大量数据到Driver端，当Driver端内存不足时，应用挂起不退出 Spark应用名在使用yarn-cluster模式提交时不生效 如何使用IDEA远程调试 如何采用Java命令提交Spark应用 使用IBM JDK产生异常，提示“Problem

查看更多 →

Streaming应用运行失败 执行Spark Core应用，尝试收集大量数据到Driver端，当Driver端内存不足时，应用挂起不退出 Spark应用名在使用yarn-cluster模式提交时不生效 如何使用IDEA远程调试 如何采用Java命令提交Spark应用 使用IBM JDK产生异常，提示“Problem

查看更多 →

归档日志 在OBS目录下，获取归档日志文件夹，详细如下。 Spark SQL作业： 查看带有“driver”或者为“container_xxx_000001”的日志文件夹则为需要查看的Driver日志目录。 图2 带有driver的归档日志文件夹名示例 图3 container_xxx_000001归档日志文件夹示例

查看更多 →

描述 示例 Name ENV名称。 spark-env Type ENV类型。 spark Driver Memory Driver内存大小，单位默认为GB。 1GB Executor Memory 每个Executor进程的内存 ，和JVM内存串拥有相同的格式，单位默认为GB。 1GB

查看更多 →

Properties import org.apache.spark.sql.{Row,SparkSession} import org.apache.spark.sql.SaveMode 创建会话。 1 val sparkSession = SparkSession.builder().getOrCreate()

查看更多 →

5版本，无需执行安装操作。 如果未查到PV driver版本信息，或者PV driver的版本低于或等于2.5版本，执行安装PV driver或安装PV driver升级包。 前提条件 云服务器 已安装操作系统，并且已经绑定弹性公网IP。 云 服务器 的系统磁盘的剩余空间必须大于32MB。

查看更多 →

JD BCS erver2x进程直接内存使用超出阈值 告警解释 系统每30秒周期性检测JDB CS erver2x进程直接内存使用状态，当检测到JDBCServer2x进程直接内存使用率超出阈值（最大内存的95%）时产生该告警。 MRS 3.3.0-LTS及之后的版本中，Spark2x服务改名为Spark，服务包

查看更多 →

Spark动态分区插入场景内存优化 操作场景 SparkSQL在往动态分区表中插入数据时，分区数越多，单个Task生成的HDFS文件越多，则元数据占用的内存也越多。这就导致程序GC（Gabage Collection）严重，甚至发生OOM（Out of Memory）。 经测试证

查看更多 →

就可能会造成内存不足，driver gc等问题。 所以为了在小内存模式下能加载较大日志文件，需要对大应用开启日志滚动功能。一般情况下，长时间运行的应用建议打开该功能。 配置参数 登录 FusionInsight Manager系统，选择“集群 > 服务 > Spark2x > 配置”，单击“全部配置”，搜索以下参数。

查看更多 →

就可能会造成内存不足，driver gc等问题。 所以为了在小内存模式下能加载较大日志文件，需要对大应用开启日志滚动功能。一般情况下，长时间运行的应用建议打开该功能。 配置参数 登录FusionInsight Manager系统，选择“集群 > 服务 > Spark2x > 配置”，单击“全部配置”，搜索以下参数。

查看更多 →

collect操作会将Executor的数据发送到Driver端，因此使用collect前需要确保Driver端内存足够，以免Driver进程发生OutOfMemory异常。当不确定数据量大小时，可使用saveAsTextFile等操作把数据写入HDFS中。只有在能够大致确定数据大小且driver内存充足的时候，才能使用collect。

查看更多 →

collect操作会将Executor的数据发送到Driver端，因此使用collect前需要确保Driver端内存足够，以免Driver进程发生OutOfMemory异常。当不确定数据量大小时，可使用saveAsTextFile等操作把数据写入HDFS中。只有在能够大致确定数据大小且driver内存充足的时候，才能使用collect。

查看更多 →

collect操作会将Executor的数据发送到Driver端，因此使用collect前需要确保Driver端内存足够，以免Driver进程发生OutOfMemory异常。当不确定数据量大小时，可使用saveAsTextFile等操作把数据写入HDFS中。只有在能够大致确定数据大小且driver内存充足的时候，才能使用collect。

查看更多 →

用资源，任务可能失败。 driver CPU核数 用于设置driver CPU核数。输入值必须在0到4之间。注意，如申请资源大于可用资源，任务可能失败。 driver内存 用于设置driver内存大小，通常建议即driver CPU核数：driver内存=1：4。GB输入值必须在

查看更多 →

JDBCServer进程直接内存使用率过高，会影响JDBCServer进程运行的性能，甚至造成内存溢出导致JDBCServer进程不可用。 可能原因 该节点JDBCServer进程直接内存使用率过大，或配置的直接内存不合理，导致使用率超过阈值。 处理步骤 检查直接内存使用率。 登录MRS集群详情页面，选择“告警管理”。

查看更多 →

集群外节点提交Spark作业时报错无法连接Driver 问题现象 集群外节点和集群各个节点网络已经互通，在集群外节点使用client模式提交Spark任务到Yarn上，任务失败，报错信息为无法连接Driver。 原因分析 使用client模式提交Spark任务的时候，Spark的dri

查看更多 →

JDBCServer进程堆内存使用率过高，会影响JDBCServer进程运行的性能，甚至造成内存溢出导致JDBCServer进程不可用。 可能原因 该节点JDBCServer进程堆内存使用率过大，或配置的堆内存不合理，导致使用率超过阈值。 处理步骤 检查堆内存使用率。 登录MRS集群详情页面，选择“告警管理”。

查看更多 →

队列最小CUs小于16CUs时，该配置项不生效。 最大预拉起spark driver实例数 队列预先启动的最大spark driver数量。当运行作业的spark driver任务数超过“单spark driver实例最大并发数”的值时，作业将会分配到预先启动的spark driver上面。 当队列为16CUs时范围：0-1

查看更多 →