.jpg)
.jpg)
.jpg)
.jpg)
-
执行Spark Core应用，尝试收集大量数据到Driver端，当Driver端内存不足时，应用挂起不退出
![]()
run(Thread.java:745) 回答 用户尝试收集大量数据到Driver端，如果Driver端的内存不足以存放这些数据，那么就会抛出OOM(OutOfMemory)的异常，然后Driver端一直在进行GC，尝试回收垃圾来存放返回的数据，导致应用长时间挂起。 解决措施： 如果用户需要在O
来自：帮助中心 -
执行Spark Core应用，尝试收集大量数据到Driver端，当Driver端内存不足时，应用挂起不退出
![]()
run(Thread.java:745) 回答 用户尝试收集大量数据到Driver端，如果Driver端的内存不足以存放这些数据，那么就会抛出OOM(OutOfMemory)的异常，然后Driver端一直在进行GC，尝试回收垃圾来存放返回的数据，导致应用长时间挂起。 解决措施： 如果用户需要在O
来自：帮助中心 -
执行Spark Core应用，尝试收集大量数据到Driver端，当Driver端内存不足时，应用挂起不退出
![]()
run(Thread.java:745) 回答 用户尝试收集大量数据到Driver端，如果Driver端的内存不足以存放这些数据，那么就会抛出OOM(OutOfMemory)的异常，然后Driver端一直在进行GC，尝试回收垃圾来存放返回的数据，导致应用长时间挂起。 解决措施： 如果用户需要在O
来自：帮助中心 -
多级嵌套子查询以及混合Join的SQL调优
![]()
从业务入手分析是否可以简化SQL，例如可以通过合并表去减少嵌套的层级和Join的次数。 如果业务需求对应的SQL无法简化，则需要配置DRIVER内存： 使用spark-submit或者spark-sql运行SQL语句，执行3。 使用spark-beeline运行SQL语句，执行4。 执行SQ
来自：帮助中心 -
Spark应用开发常见问题
![]()
Spark应用开发常见问题 Spark接口介绍 Spark应用调优 如何添加自定义代码的依赖包 如何处理自动加载的依赖包 运行SparkStreamingKafka样例工程时报“类不存在”问题 执行Spark Core应用，尝试收集大量数据到Driver端，当Driver端内存不足时，应用挂起不退出
来自：帮助中心 -
执行Spark Core应用，尝试收集大量数据到Driver端，当Driver端内存不足时，应用挂起不退出
![]()
run(Thread.java:745) 回答 用户尝试收集大量数据到Driver端，如果Driver端的内存不足以存放这些数据，那么就会抛出OOM(OutOfMemory)的异常，然后Driver端一直在进行GC，尝试回收垃圾来存放返回的数据，导致应用长时间挂起。 解决措施： 如果用户需要在O
来自：帮助中心 -
使用Spark
![]()
使用Spark 运行Spark应用时修改split值报错 提交Spark任务时提示参数格式错误 磁盘容量不足导致Spark、Hive和Yarn服务不可用 引入jar包不正确导致Spark任务无法运行 Spark任务由于内存不够或提交作业时未添加Jar包，作业卡住 提交Spark任务
来自：帮助中心 -
多级嵌套子查询以及混合Join的SQL调优
![]()
从业务入手分析是否可以简化SQL，例如可以通过合并表去减少嵌套的层级和Join的次数。 如果业务需求对应的SQL无法简化，则需要配置DRIVER内存： 使用spark-submit或者spark-sql运行SQL语句，执行3。 使用spark-beeline运行SQL语句，执行4。 执行SQ
来自：帮助中心 -
Spark2x基本原理
![]()
面指定的操作，系统就得到了恢复。下面介绍了如何利用这样的概念保证接收到的数据的持久性。 Kafka数据源使用Receiver来接收数据，是Executor中的长运行任务，负责从数据源接收数据，并且在数据源支持时还负责确认收到数据的结果（收到的数据被保存在Executor的内存中，
来自：帮助中心 -
Yarn与其他组件的关系
![]()
Yarn与其他组件的关系 Yarn和Spark组件的关系 Spark的计算调度方式，可以通过Yarn的模式实现。Spark共享Yarn集群提供丰富的计算资源，将任务分布式的运行起来。Spark on Yarn分两种模式：Yarn Cluster和Yarn Client。 Yarn
来自：帮助中心 -
配置流式读取Saprk Driver执行结果
![]()
序列化的方式，还是间接序列化的方式保存结果数据到磁盘。 优点：针对分区数特别多的表查询结果汇聚性能优于直接使用结果数据保证在磁盘的方式。 缺点：和spark.sql.uselocalFileCollect开启时候的缺点一样。 true：使用该功能 false：不使用该功能 false
来自：帮助中心 -
Spark基本原理
![]()
需要对数据或者日志的更新进行备份来保障容错性。这样就会给数据密集型的工作流带来大量的IO开销。而对于RDD来说，它只有一套受限制的接口，仅支持粗粒度的更新，例如map，join等等。通过这种方式，Spark只需要简单的记录建立数据的转换操作的日志，而不是完整的数据集，就能够提供容
来自：帮助中心 -
快速配置参数
-
配置流式读取Saprk Driver执行结果
![]()
接序列化的方式，还是间接序列化的方式保存结果数据到磁盘。 优点：针对分区数特别多的表查询结果汇聚性能优于直接使用结果数据保证在磁盘的方式。 缺点：和spark.sql.uselocalFileCollect开启时候的缺点一样。 true：使用该功能。 false：不使用该功能。 false
来自：帮助中心 -
快速配置参数
![]()
JDBCServer服务所在的Yarn队列。 在JDBCServer服务端的“spark-defaults.conf”配置文件中进行设置。 default spark.driver.memory 大集群下推荐配置32~64g驱动程序进程使用的内存数量，即SparkContext初始化的进程（例如：512m
来自：帮助中心 -
Spark应用开发常见问题
![]()
Spark应用开发常见问题 Spark常用API介绍 structured streaming功能与可靠性介绍 如何添加自定义代码的依赖包 如何处理自动加载的依赖包 运行SparkStreamingKafka样例工程时报“类不存在”问题 SparkSQL UDF功能的权限控制机制
来自：帮助中心 -
cache table使用指导
![]()
utor的内存。尽管在Spark SQL采用压缩存储的方式来尽量减少内存开销、缓解GC压力，但当缓存的表较大或者缓存表数量较多时，将不可避免的影响executor的稳定性。 此时的最佳实践是，当不需要将表cache来实现查询加速时，应及时将表进行uncache以释放内存。可以执行命令uncache
来自：帮助中心 -
cache table使用指导
![]()
utor的内存。尽管在Spark SQL采用压缩存储的方式来尽量减少内存开销、缓解GC压力，但当缓存的表较大或者缓存表数量较多时，将不可避免的影响executor的稳定性。 此时的最佳实践是，当不需要将表cache来实现查询加速时，应及时将表进行uncache以释放内存。可以执行命令uncache
来自：帮助中心 -
Spark应用开发常见问题
![]()
Spark应用开发常见问题 Spark常用API介绍 structured streaming功能与可靠性介绍 如何添加自定义代码的依赖包 如何处理自动加载的依赖包 运行SparkStreamingKafka样例工程时报“类不存在”问题 由于Kafka配置的限制，导致Spark Streaming应用运行失败
来自：帮助中心 -
Spark应用开发常见问题
![]()
Spark应用开发常见问题 Spark常用API介绍 structured streaming功能与可靠性介绍 如何添加自定义代码的依赖包 如何处理自动加载的依赖包 运行SparkStreamingKafka样例工程时报“类不存在”问题 由于Kafka配置的限制，导致Spark Streaming应用运行失败
来自：帮助中心 -
Spark应用开发常见问题
![]()
Spark应用开发常见问题 Spark常用API介绍 structured streaming功能与可靠性介绍 如何添加自定义代码的依赖包 如何处理自动加载的依赖包 运行SparkStreamingKafka样例工程时报“类不存在”问题 SparkSQL UDF功能的权限控制机制
来自：帮助中心
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
