集群外节点提交Spark作业时报错无法连接Driver 问题现象 集群外节点和集群各个节点网络已经互通，在集群外节点使用client模式提交Spark任务到Yarn上，任务失败，报错信息为无法连接Driver。 原因分析 使用client模式提交Spark任务的时候，Spark的dri

查看更多 →

需要增加--conf spark.driver.extraClassPath=/opt/client/Spark2x/spark/conf/:/opt/client/Spark2x/spark/jars/*:/opt/client/Spark2x/spark/x86/*:/kafkadir/*。

查看更多 →

据解析时消耗大量的内存资源，导致Driver节点的内存不足，并触发频繁的Full GC。 在这种情况下，可以配置该参数为false即禁用动态分区修剪优化，有助于减少内存使用，避免内存溢出和频繁的Full GC。 但禁用此优化可能会降低查询性能，禁用后Spark将不会自动修剪掉那些不满足条件的分区。

查看更多 →

JD BCS erver进程非堆内存使用率过高，会影响JDB CS erver进程运行的性能，甚至造成内存溢出导致JDBCServer进程不可用。 可能原因 该节点JDBCServer进程非堆内存使用率过大，或配置的非堆内存不合理，导致使用率超过阈值。 处理步骤 检查非堆内存使用率。 登录 MRS 集群详情页面，选择“告警管理”。

查看更多 →

JDBCServer driver进程出现log4j死锁。 commons-pool2版本冲突导致Spark访问kafka报错。 Sparkstreaming任务失败，但是Yarn WebUI中显示状态是succeeded。 Spark任务提交报Spark类序列化异常。 spark show

查看更多 →

Manager首页，选择“集群 > 服务 > Spark2x > 配置”，单击“全部配置”，选择“IndexServer2x > 默认”，“SPARK_DRIVER_MEMORY”参数默认值为4G，可根据如下原则调整：可将“SPARK_DRIVER_MEMORY”参数调整为默认值的1.5倍；若参数值调整后，仍偶现告警，可按0

查看更多 →

使用Spark on CCE 使用Spark的Kubernetes调度程序spark-submit，可以将Spark应用程序提交到Kubernetes集群中运行，详情请参见在Kubernetes上运行Spark。使用spark-submit提交Spark应用程序的工作原理如下：

查看更多 →

华为云帮助中心，为用户提供产品简介、价格说明、购买指南、用户指南、API参考、最佳实践、常见问题、视频帮助等技术文档，帮助您快速上手使用华为云服务。

查看更多 →

32MB（196核CPU/1536G内存，128核CPU/1024G内存，104核CPU/1024G内存，96核CPU/1024G内存，96核CPU/768G内存，80核CPU/640G内存）；16MB（72核CPU/576G内存，64核CPU/512G内存，60核CPU/480G内存，32核CPU/

查看更多 →

24G内存，96核CPU/768G内存）；128MB（64核CPU/512G内存，60核CPU/480G内存，32核CPU/256G内存，16核CPU/128G内存）；64MB（8核CPU/64G内存）；32MB（4核CPU/32G内存）；16MB（4核CPU/16G内存） 设置建议：

查看更多 →

内存 文档数据库服务DDS实例可以使用的内存上限。 父主题： 常用概念

查看更多 →

String 否 Spark应用Executor的个数。该配置项会替换sc_type中对应的默认参数。 -dc / --driver-cores String 否 Spark应用Driver的CPU核数。该配置项会替换sc_type中对应的默认参数。 -dm / --driver-memory

查看更多 →

java.sql.Driver java.sql.Driver是数据库驱动接口。 表1 对java.sql.Driver的支持情况 方法名 返回值类型 支持JDBC 4 acceptsURL(String url) Boolean Yes connect(String url, Properties

查看更多 →

java.sql.Driver java.sql.Driver是数据库驱动接口。 表1 对java.sql.Driver的支持情况 方法名 返回值类型 支持JDBC 4 acceptsURL(String url) boolean Yes connect(String url, Properties

查看更多 →

java.sql.Driver java.sql.Driver是数据库驱动接口。 表1 对java.sql.Driver的支持情况 方法名 返回值类型 支持JDBC 4 acceptsURL(String url) Boolean Yes connect(String url, Properties

查看更多 →

java.sql.Driver java.sql.Driver是数据库驱动接口。 表1 对java.sql.Driver的支持情况 方法名 返回值类型 支持JDBC4 支持计划外ALT acceptsURL(String url) boolean Yes Yes connect(String

查看更多 →

java.sql.Driver java.sql.Driver是数据库驱动接口。 表1 对java.sql.Driver的支持情况 方法名 返回值类型 支持JDBC 4 acceptsURL(String url) Boolean Yes connect(String url, Properties

查看更多 →

U/1024G内存，96核CPU/1024G内存，96核CPU/768G内存，80核CPU/640G内存，64核CPU/512G内存，60核CPU/480G内存，32核CPU/256G内存，16核CPU/128G内存，8核CPU/64G内存，4核CPU/32G内存）；128kB（4核CPU/16G内存）

查看更多 →

200（196核CPU/1536G内存，128核CPU/1024G内存，104核CPU/1024G内存，96核CPU/1024G内存，96核CPU/768G内存，80核CPU/640G内存，64核CPU/512G内存，60核CPU/480G内存，32核CPU/256G内存，16核CPU/128G内存，8核C

查看更多 →

。因此使用的总内存可能是work_mem的好几倍。 参数类型：USERSET 取值范围：整型，64~INT_MAX，单位为KB。 默认值：小规格内存为512MB， 大规格内存为2GB（max_process_memory大于等于30GB为大规格内存，否则为小规格内存）。 设置建议：

查看更多 →

IndexServer2x进程非堆内存使用超出阈值 告警解释 系统每30秒周期性检测IndexServer2x进程非堆内存使用状态，当检测到IndexServer2x进程非堆内存使用率超出阈值（最大内存的95%）时产生该告警。 MRS 3.3.0-LTS及之后的版本中，Spark2x服务改名为Sp

查看更多 →