更新时间：2024-04-01 GMT+08:00
如何设置Spark作业执行时自动获取更多资源？
问
如何设置Spark作业执行时自动获取更多资源？
答
对于Spark应用来说，资源是影响Spark应用执行效率的一个重要因素。当一个长期运行的服务（比如JDBCServer），如果分配给它多个Executor，可是却没有任何任务分配给它，而此时有其他的应用却资源紧张，这就造成了很大的资源浪费和资源不合理的调度。
动态资源调度就是为了解决这种场景，根据当前应用任务的负载情况，实时的增减Executor个数，从而实现动态分配资源，使整个Spark系统更加健康。
可通过如下方法开启动态资源分配功能，其他相关配置可参考Yarn模式下动态资源调度。
登录FusionInsight Manager，选择“集群 > 服务 > Spark > 配置 > 全部配置”。在搜索框中输入“spark.dynamicAllocation.enabled”，将参数的值设置为“true”，表示开启动态资源调度功能。
父主题： 作业开发类
作业开发类 所有常见问题
- 如何准备MRS的数据源？
- MRS集群支持提交哪些形式的Spark作业？
- MRS集群的租户资源最小值改为0后，只能同时运行一个Spark任务吗？
- 作业提交参数间用空格隔开导致参数信息不被识别如何处理？
- Spark作业的Client模式和Cluster模式有什么区别？
- 如何查看MRS作业的日志？
- 提交作业时系统提示当前用户在Manager不存在如何处理？
- LauncherJob作业执行失败，报错信息为“jobPropertiesMap is null”如何处理？
- 为什么MRS Console页面Flink作业状态与Yarn上的作业状态不一致？
- SparkStreaming作业运行几十个小时后失败，报OBS访问403如何处理？
- ClickHouse客户端执行SQL查询时报内存不足如何处理？
- Spark运行作业报错“java.io.IOException: Connection reset by peer”如何处理？
- Spark作业访问OBS报错“requestId=XXX”如何处理？
- Spark作业报错“UnknownScannerExeception”如何处理？
- DataArts Studio调度Spark作业偶现失败如何处理？
- Flink任务运行失败，报错“java.lang.NoSuchFieldError: SECURITY_SSL_ENCRYPT_ENABLED”如何处理？
- 提交的Yarn作业在界面上查看不到如何处理？
- 如何修改现有集群的HDFS fs.defaultFS？
- 提交Flink任务时launcher-job被Yarn终止如何处理？
- 提交Flink作业时报错slot request timeout如何处理？
- DistCP作业导入导出数据常见问题
- 如何通过Yarn WebUI查看Hive作业对应的SQL语句？
- 如何查看指定Yarn任务的日志？
- 如何设置Spark作业执行时自动获取更多资源？
- 提交作业失败，报错与OBS相关
more
