文档首页> 云数据迁移 CDM> 常见问题> 故障处理类> Hudi源端案例库> 读Hudi作业长时间出于BOOTING状态怎么解决?
更新时间:2023-06-21 GMT+08:00

读Hudi作业长时间出于BOOTING状态怎么解决?

问题原因1除去Yarn队列资源问题,一般作业是卡在执行Spark SQL读Hudi写Hive临时表,这步执行的速度取决于Hudi表的数据量与Yarn队列剩余资源。

问题排查1查看Yarn任务,搜索Spark JDBC Server的Yarn任务,找到自己队列下Running Container大于1的任务,查看ApplicationMaster,点击SQL页签,可以看到正在执行的SQL,点击Stages页签,可以看到每条SQL的执行进度。

CDM在作业BOOTING阶段无法查看日志,如果找不到Yarn任务,请联系CDM运维查看后台日志,获取Application ID。日志形如:

问题原因2作业配置了导入前清空数据,dws表存量数据多,卡在truncate table操作步骤中,默认5分钟超时。

问题排查2联系CDM运维查看后台日志。

Hudi源端案例库 所有常见问题

more