进程的JVM参数1 参数 说明 默认日志级别 spark.driver.extraJavaOptions Driver的JVM参数。 INFO spark.executor.extraJavaOptions Executor的JVM参数。 INFO spark.yarn.am.extraJavaOptions

查看更多 →

enabled”设置为“true”，且需要在Driver端配置“jaas.conf”文件，配置如下： {client}/spark/bin/spark-sql --master yarn-client --principal {principal} --keytab {keytab} --driver-java-options

查看更多 →

</dependency> import相关依赖包 1 import org.apache.spark.sql.SparkSession; 创建会话 1 SparkSession sparkSession = SparkSession.builder().appName("datasource-rds")

查看更多 →

blockmgr-开头和spark-开头的目录 问题 系统长时间运行后，在客户端安装节点的/tmp目录下，发现残留了很多blockmgr-开头和spark-开头的目录。 图1 残留目录样例 回答 Spark任务在运行过程中，driver会创建一个spark-开头的本地临时目录，用

查看更多 →

conf”配置文件中设置该参数。 Spark客户端提交的任务在客户端配的“spark-defaults.conf”配置文件中设置该参数。 Spark长时间任务安全认证配置 安全模式下，使用Spark CLI（如spark shell、spark sql、spark submit）时，如果使

查看更多 →

方案一： 修改Spark2x客户端conf目录下spark-default.conf文件，清空（直接赋值为空） 配置项spark.driver.extraLibraryPath、spark.yarn.cluster.driver.extraLibraryPath和spark.executor

查看更多 →

方案一： 修改Spark2x客户端conf目录下spark-default.conf文件，清空（直接赋值为空） 配置项spark.driver.extraLibraryPath、spark.yarn.cluster.driver.extraLibraryPath和spark.executor

查看更多 →

blockmgr-开头和spark-开头的目录 问题 系统长时间运行后，在客户端安装节点的/tmp目录下，发现残留了很多blockmgr-开头和spark-开头的目录。 图1 残留目录样例 回答 Spark任务在运行过程中，driver会创建一个spark-开头的本地临时目录，用

查看更多 →

CDS测试套时出现Driver内存不足的现象。 规避措施： 根据业务需要，配置合适的需要保留的Job和Stage的UI数据个数，即配置“spark.ui.retainedJobs”和“spark.ui.retainedStages”参数。详细信息请参考Spark常用配置参数中的表13。

查看更多 →

Spark应用开发常见问题 Spark接口介绍 Spark应用调优 如何添加自定义代码的依赖包 如何处理自动加载的依赖包 运行SparkStreamingKafka样例工程时报“类不存在”问题 执行Spark Core应用，尝试收集大量数据到Driver端，当Driver端内存不足时，应用挂起不退出

查看更多 →

创建并部署应用到CCE集群 通过Manifest文件定义kubernetes对象，实现对华为云CCE集群的部署。 该模板涉及的部署步骤如下所示： 详细步骤操作请参考Kubernetes Manifest部署(CCE集群)。 父主题： 使用Kubernetes模板创建并部署应用

查看更多 →

enabled”设置为“true”，且需要在Driver端配置“jaas.conf”文件，配置如下： {client}/spark/bin/spark-sql --master yarn-client --principal {principal} --keytab {keytab} --driver-java-options

查看更多 →

JD BCS erver2x：4040 SparkResource2x：0 spark.blockManager.port 所有BlockManager监测的端口。这些同时存在于Driver和Executor上。 随机端口范围 spark.driver.port Driver监测的端口，用于Driver与Executor进行通信。

查看更多 →

什么是模板？什么时候使用模板？ 当用户期望保存当前的任务信息时，可以单击“保存为模板”将当前正在执行的任务信息保存至自定义名称的模板中。再次发起相同或类似任务时，可以调度模板直接或简单修改后执行。 父主题： 数据探索

查看更多 →

什么时候开具发票？ 客户服务商在收到华为云发送的开票通知后才可开具发票。客户服务商在对账期间须及时留意其在华为云账号上绑定的邮箱及手机号码接收到的通知。 父主题： 客户服务商常见问题

查看更多 →

要查看的Spark作业，单击“操作”列中的“SparkUI”。 在SparkUI页面可查看Spark作业实时运行资源。 图2 SparkUI 在SparkUI页面还可以查看Spark作业原始资源配置（只对新集群开放）。 在SparkUI页面，单击“Environment”，可以查

查看更多 →

方案一： 修改Spark2x客户端conf目录下spark-default.conf文件，清空（直接赋值为空） 配置项spark.driver.extraLibraryPath、spark.yarn.cluster.driver.extraLibraryPath和spark.executor

查看更多 →

方案一： 修改Spark2x客户端conf目录下spark-default.conf文件，清空（直接赋值为空） 配置项spark.driver.extraLibraryPath、spark.yarn.cluster.driver.extraLibraryPath和spark.executor

查看更多 →

nt样例为Spark开源社区提供的。 回答 Spark部署时，如下jar包存放在客户端的“$SPARK_HOME/jars/streamingClient”目录以及服务端的“/opt/Bigdata/ MRS / FusionInsight -Spark-2.2.1/spark/jars

查看更多 →

原因分析 从Spark 2.3版本开始，推荐使用新参数spark.executor.memoryOverhead设置executor的overhead内存大小，如果任务两个参数都设置，则spark.yarn.executor.memoryOverhead的值不生效，以spark.executor

查看更多 →

Spark SQL常用配置项说明 本章节为您介绍 DLI 批作业SQL语法的常用配置项。 表1 常用配置项 名称 默认值 描述 spark.sql.files.maxRecordsPerFile 0 要写入单个文件的最大记录数。如果该值为零或为负，则没有限制。 spark.sql.shuffle

查看更多 →