更新时间:2024-11-12 GMT+08:00
Hudi目的端的作业执行过程中,由于源端连接闪断、超时或主动终止连接导致作业执行失败怎么处理?
问题描述
作业执行过程中,由于源端连接闪断、超时或者源端主动终止了连接导致作业执行失败。
问题分析
日志中出现源端的read timeout报错,或者terminate by xxx之类的报错。
解决方案
- 如果源端网络不稳定,可以使用分片重试能力多次执行作业,可能需要调整作业配置。
- 如作业配置了分片数,或者源端为分区表,且作业配置了按表分区抽取,则单击更多-分片重试,重跑失败分片(比如配置了100个分片,上次执行到50个分片报错,则单击失败重试后,仅会执行剩余50个分片)。
- 如且源端非分区表,作业未配置分片数,建议调大作业分片数,再重新执行作业,后续再发生异常通过失败重试断点续传。
- 如源端为分区表,且未配置按表分区抽取,建议配置按表分区抽取后,重新执行作业,后续再发生异常通过失败重试断点续传。
父主题: 故障处理类