文档首页/ 云数据迁移 CDM/ 常见问题/ 故障处理类/ Hudi目的端的作业执行过程中,由于源端连接闪断、超时或主动终止连接导致作业执行失败怎么处理?
更新时间:2024-11-12 GMT+08:00
分享

Hudi目的端的作业执行过程中,由于源端连接闪断、超时或主动终止连接导致作业执行失败怎么处理?

问题描述

作业执行过程中,由于源端连接闪断、超时或者源端主动终止了连接导致作业执行失败。

问题分析

日志中出现源端的read timeout报错,或者terminate by xxx之类的报错。

解决方案

  • 如果源端网络不稳定,可以使用分片重试能力多次执行作业,可能需要调整作业配置。
  • 如作业配置了分片数,或者源端为分区表,且作业配置了按表分区抽取,则单击更多-分片重试,重跑失败分片(比如配置了100个分片,上次执行到50个分片报错,则单击失败重试后,仅会执行剩余50个分片)。
  • 如且源端非分区表,作业未配置分片数,建议调大作业分片数,再重新执行作业,后续再发生异常通过失败重试断点续传。
  • 如源端为分区表,且未配置按表分区抽取,建议配置按表分区抽取后,重新执行作业,后续再发生异常通过失败重试断点续传。

相关文档