文档首页> 数据湖探索 DLI> 常见问题> Spark作业相关问题> 作业运维报错> Spark作业运行大批量数据时上报作业运行超时异常错误
更新时间:2022-09-29 GMT+08:00
分享

Spark作业运行大批量数据时上报作业运行超时异常错误

Spark作业程序访问大批量数据,如访问DWS大批量数据库数据时,建议设置并发数,启动多任务的方式运行,避免作业运行超时。

具体并发设置可以参考对接DWS样例代码中的partitionColumn和numPartitions相关字段和案例描述。

分享:

作业运维报错 所有常见问题

more