Hudi源端的作业长时间处于BOOTING状态怎么解决？

问题描述

在Hudi源端读Hudi作业长时间处于BOOTING状态。

原因分析

• 除去Yarn队列资源问题，一般作业是卡在执行Spark SQL读Hudi写Hive临时表，这步执行的速度取决于Hudi表的数据量与Yarn队列剩余资源。
• 作业配置了导入前清空数据，dws表存量数据多，卡在truncate table操作步骤中，默认5分钟超时。

解决方案

• 查看Yarn任务，搜索Spark JDBC Server的Yarn任务，找到自己队列下Running Container大于1的任务，查看ApplicationMaster，单击SQL页签，可以看到正在执行的SQL，单击Stages页签，可以看到每条SQL的执行进度。

  

  

  

  CDM在作业BOOTING阶段无法查看日志，如果找不到Yarn任务，请联系CDM运维查看后台日志，获取Application ID。日志形如：