更新时间:2023-06-21 GMT+08:00
读Hudi作业长时间出于BOOTING状态怎么解决?
问题原因1:除去Yarn队列资源问题,一般作业是卡在执行Spark SQL读Hudi写Hive临时表,这步执行的速度取决于Hudi表的数据量与Yarn队列剩余资源。
问题排查1:查看Yarn任务,搜索Spark JDBC Server的Yarn任务,找到自己队列下Running Container大于1的任务,查看ApplicationMaster,点击SQL页签,可以看到正在执行的SQL,点击Stages页签,可以看到每条SQL的执行进度。
CDM在作业BOOTING阶段无法查看日志,如果找不到Yarn任务,请联系CDM运维查看后台日志,获取Application ID。日志形如:
问题原因2:作业配置了导入前清空数据,dws表存量数据多,卡在truncate table操作步骤中,默认5分钟超时。
问题排查2:联系CDM运维查看后台日志。
父主题: Hudi源端案例库
Hudi源端案例库 所有常见问题
more