将生成的Jar包（如CollectFemaleInfo.jar）拷贝到Spark运行环境下（即Spark客户端），如“/opt/female”。开启Kerberos认证的安全集群下把从准备Spark应用开发用户中获取的user.keytab和krb5.conf文件拷贝到Spark客户端conf目录下，如：/opt/

查看更多 →

Spark任务运行失败 问题现象 报错显示executor出现OOM。 失败的task信息显示失败原因是lost task xxx。 原因分析 问题1：一般出现executor OOM，都是因为数据量过大，也有可能是因为同一个executor上面同时运行的task太多。 问题2：

查看更多 →

nt”。 将待运行的应用程序上传到集群客户端所在节点。 本章节示例中使用的jar样例程序为“{集群客户端安装目录}/Spark2x/spark/examples/jars/spark-examples_*.jar”（部分版本集群中Spark2x文件夹名称为Spark，请以实际为准）。

查看更多 →

source bigdata_env cd $SPARK_HOME 进入spark-sql命令行后执行SQL语句。 ./bin/spark-sql --conf spark.yarn.principal= MRS Test --conf spark.yarn.keytab=/opt/user

查看更多 →

准备Spark应用运行环境 操作场景 Spark的运行环境（即客户端）只能部署在Linux环境下。您可以执行如下操作完成运行环境准备。 准备运行调测环境 在 弹性云服务器 管理控制台，申请一个新的弹性 云服务器 ，用于应用开发运行调测。 弹性云 服务器 的安全组需要和MRS集群Master节点的安全组相同。

查看更多 →

运行Spark任务发现大量shuffle结果丢失 问题现象 Spark任务运行失败，查看任务日志发现大量打印shuffle文件丢失。 原因分析 Spark运行的时候会将临时产生的shuffle文件放在executor的临时目录中，方便后面获取。 而当某个executor异常退出时

查看更多 →

SparkRTC支持iOS后台运行吗？ 进入后台运行后，摄像头功能将暂停，音频功能正常工作。 父主题： SDK使用

查看更多 →

将2中生成的Jar包（如CollectFemaleInfo.jar）复制到Spark运行环境下（即Spark客户端），如“/opt/female”。运行Spark应用程序，具体样例程序可参考开发Spark应用。 在Spark任务运行过程中禁止重启HDFS服务或者重启所有DataNode实例，否

查看更多 →

将2中生成的Jar包（如CollectFemaleInfo.jar）复制到Spark运行环境下（即Spark客户端），如“/opt/female”。运行Spark应用程序，具体样例程序可参考开发Spark应用。 在Spark任务运行过程中禁止重启HDFS服务或者重启所有DataNode实例，否

查看更多 →

运行Spark应用时修改split值报错 用户问题 在Spark应用下修改split值时报错。 问题现象 用户需要通过修改一个split最大值来实现多个mapper，从而达到提速的目的，但是执行set命令修改Hive的配置时报错。 0: jdbc:hive2://192.168.1

查看更多 →

Spark运行作业报错“java.io.IOException: Connection reset by peer”如何处理？ 问： Spark作业运行一直不结束，查看日志报错：java.io.IOException: Connection reset by peer。 答： 修

查看更多 →

如何在 DLI 中运行复杂PySpark程序？ 数据湖探索 （DLI）服务对于PySpark是原生支持的。 对于数据分析来说Python是很自然的选择，而在大数据分析中PySpark无疑是不二选择。对于JVM语言系的程序，通常会把程序打成Jar包并依赖其他一些第三方的Jar，同样的Py

查看更多 →

使用Spark 运行Spark应用时修改split值报错 提交Spark任务时提示参数格式错误 磁盘容量不足导致Spark、Hive和Yarn服务不可用 引入jar包不正确导致Spark任务无法运行 Spark任务由于内存不够或提交作业时未添加Jar包，作业卡住 提交Spark任务

查看更多 →

Spark作业运行大批量数据时上报作业运行超时异常错误 当Spark作业运行大批量数据时，如果出现作业运行超时异常错误，通常是由于作业的资源配置不足、数据倾斜、网络问题或任务过多导致的。 解决方案： 设置并发数：通过设置合适的并发数，可以启动多任务并行运行，从而提高作业的处理能力。

查看更多 →

获取运行中Spark应用的Container日志 运行中Spark应用的Container日志分散在多个节点中，本章节用于说明如何快速获取Container日志。 场景说明 可以通过yarn logs命令获取运行在Yarn上的应用的日志，针对不同的场景，可以使用以下命令获取需要的日志：

查看更多 →

运行Spark作业报java.lang.AbstractMethodError Spark 2.3对内部接口Logging做了行为变更，如果用户代码里直接继承了该Logging，且编译时使用的是低版本的Spark，那么应用程序在Spark 2.3的环境中运行将会报java.lang

查看更多 →

本地运行Spark程序连接MRS集群的Hive、HDFS 问题 本地运行Spark程序时，如何连接MRS集群的Hive和HDFS？ 回答 为每一个Master节点申请并绑定弹性公网IP。 在本地Windows上配置集群的ip与主机名映射关系。登录集群后台，执行命令cat /etc

查看更多 →

获取运行中Spark应用的Container日志 运行中Spark应用的Container日志分散在多个节点中，本章节用于说明如何快速获取Container日志。 场景说明 可以通过yarn logs命令获取运行在Yarn上的应用的日志，针对不同的场景，可以使用以下命令获取需要的日志：

查看更多 →

Spark Spark基本原理 Spark HA方案介绍 Spark与其他组件的关系 Spark开源增强特性 父主题： 组件介绍

查看更多 →

1.1 编译可能需要一定时间，请耐心等待。编译完成后，软件包名称为spark-3.1.3-bin-hadoop3.1.tgz。 配置Spark运行环境 为了操作简便，使用root用户，并将编译出的软件包spark-3.1.3-bin-hadoop3.1.tgz放置于操作节点/root目录下。

查看更多 →

cket,server=y,suspend=y,address=5006，这个调试命令在启动Spark程序时要用到。 执行以下命令，远端启动Spark运行SparkPi。 ./spark-submit --master yarn-client --driver-java-options

查看更多 →