DeprecatedConfigParameter, ReflectionUtil} import org.apache.spark.{SparkConf, SparkEnv, SparkFiles} import org.slf4j.LoggerFactory import scala.jdk

查看更多 →

Spark shuffle异常处理 问题 在部分场景Spark shuffle阶段会有如下异常 解决方法 JDBC应该： 登录 FusionInsight Manager管理界面，修改JD BCS erver的参数“spark.authenticate.enableSaslEncryp

查看更多 →

配置为-1时，将不进行广播。 配置自动广播阈值的方法： 在Spark的配置文件“spark-defaults.conf”中，设置“spark.sql.autoBroadcastJoinThreshold”的值。 spark.sql.autoBroadcastJoinThreshold

查看更多 →

conf”配置文件中设置该参数。 Spark客户端提交的任务在客户端配的“spark-defaults.conf”配置文件中设置该参数。 Spark长时间任务安全认证配置 安全模式下，使用Spark CLI（如spark shell、spark sql、spark submit）时，如果使

查看更多 →

Spark用户权限管理 SparkSQL用户权限介绍 创建SparkSQL角色 配置Spark表、列和数据库的用户权限 配置SparkSQL业务用户权限 配置Spark Web UI ACL Spark客户端和服务端权限参数配置说明 父主题： 使用Spark/Spark2x

查看更多 →

org.apache.spark.SparkContext // RDD操作时引入的类。 import org.apache.spark.SparkContext._ // 创建SparkConf时引入的类。 import org.apache.spark.SparkConf 分布式模

查看更多 →

使用并发的标记-清理GC算法减少GC暂停时间。 运行pyspark建议 运行pyspark应用时，不能使用集群自带的python环境，需要用户自行安装python环境，并将python相关依赖包打包上传到HDFS。 父主题： Spark应用开发规范

查看更多 →

Spark常用API介绍 Spark Java API接口介绍 Spark Scala API接口介绍 Spark Python API接口介绍 Spark REST API接口介绍 Spark client CLI介绍 Spark JDB CS erver接口介绍 父主题： Spark应用开发常见问题

查看更多 →

Spark应用开发概述 Spark应用开发简介 Spark应用开发常用概念 Spark应用开发流程介绍 父主题： Spark开发指南

查看更多 →

调测Spark应用 配置Windows通过EIP访问集群Spark 在本地Windows环境中调测Spark应用 在Linux环境中调测Spark应用 父主题： Spark2x开发指南（普通模式）

查看更多 →

Spark常用API介绍 Spark Java API接口介绍 Spark scala API接口介绍 Spark Python API接口介绍 Spark REST API接口介绍 Spark client CLI介绍 Spark JDBCServer接口介绍 父主题： Spark应用开发常见问题

查看更多 →

管理Spark作业模板 操作场景 在创建Spark作业时，您可以在已有的Spark样例模板中进行修改，来实现实际的作业逻辑需求，节约编辑SQL语句的时间。 当前云平台尚未提供预置的Spark模板，但支持用户自定义Spark作业模板，本节操作介绍在Spark管理页面创建Spark模板的操作方法。

查看更多 →

Spark作业开发类 Spark作业使用咨询 Spark如何将数据写入到 DLI 表中 通用队列操作OBS表如何设置AK/SK 如何查看DLI Spark作业的实际资源使用情况 将Spark作业结果存储在MySQL数据库中，缺少pymysql模块，如何使用python脚本访问MySQL数据库？

查看更多 →

Spark常用API介绍 Spark Java API接口介绍 Spark Scala API接口介绍 Spark Python API接口介绍 Spark REST API接口介绍 Spark client CLI介绍 Spark JDBCServer接口介绍 父主题： Spark应用开发常见问题

查看更多 →

200 spark.sql.adaptive.coalescePartitions.minPartitionNum 合并后的最小shuffle分区数。如果不设置，默认为Spark集群的默认并行度。只有当spark.sql.adaptive.enabled 和spark.sql.adaptive

查看更多 →

200 spark.sql.adaptive.coalescePartitions.minPartitionNum 合并后的最小shuffle分区数。如果不设置，默认为Spark集群的默认并行度。只有当spark.sql.adaptive.enabled和spark.sql.adaptive

查看更多 →

Engine作为Spark Executor进程的一部分运行，负责处理数据文件块的一个子集。 Table数据集数据存储在HDFS中。同一Spark集群内的节点可以作为HDFS的数据节点。 CarbonData特性 SQL功能：CarbonData与Spark SQL完全兼容，支持所有可以直接在Spark

查看更多 →

educe Jar程序。 Spark：基于内存进行计算的分布式计算框架， MRS 支持提交SparkSubmit、Spark Script和Spark SQL作业。 SparkSubmit：提交Spark Jar和Spark Python程序，运行Spark Application计算和处理用户数据。

查看更多 →

Spark连接Kafka认证错误 问题现象 MRS 2.1.0版本集群中Spark消费kafka数据，过一天以后就会出现认证失败的报错： 原因分析 集群版本和运行的程序包版本不匹配。 处理步骤 参考运行Spark Streaming 对接Kafka0-10样例程序进行相关配置。 当前集群为MRS

查看更多 →

新建MRS SparkSQL数据连接 连接MRS SparkSQL前，需要满足以下条件： 已创建一个包含Spark组件的MRS 2.x之前版本集群，并且请确保MRS集群已关闭Kerberos认证。对于开启Kerberos认证的MRS SparkSQL数据源， DLV 暂不支持。 已获取MRS

查看更多 →

file=./__spark_conf__/__hadoop_conf__/fairscheduler.xml spark.proxyserver.hash.enabled=true 配置描述 登录Manager，选择“集群 > 待操作集群的名称 > 服务 > Spark2x > 配置

查看更多 →