文档首页>
数据湖探索 DLI>
常见问题>
Flink作业相关问题>
运维指导>
DLI Flink作业提交运行后(已选择保存作业日志到OBS桶),提交运行失败的情形(例如:jar包冲突),有时日志不会写到OBS桶中
更新时间:2022-09-29 GMT+08:00
DLI Flink作业提交运行后(已选择保存作业日志到OBS桶),提交运行失败的情形(例如:jar包冲突),有时日志不会写到OBS桶中
DLI Flink作业提交或运行失败时,对应生成的作业日志保存方式,包含以下三种情况:
- 提交失败,只会在submit-client下生成提交日志。
- 运行失败且在1分钟内的日志,可以直接在管理控制台页面查看,具体如下:
- 运行失败且超过1分钟(日志转储周期1分钟),会在application_xx下生成运行日志。
另外,由于DLI服务端已经内置了Flink的依赖包,并且基于开源社区版本做了安全加固。为了避免依赖包兼容性问题或日志输出及转储问题,打包时请注意排除以下文件:
- 系统内置的依赖包,或者在Maven或者Sbt构建工具中将scope设为provided
- 日志配置文件(例如l:“log4j.properties”或者“logback.xml”等)
- 日志输出实现类JAR包(例如:log4j等)
在此基础上,taskmanager.log会随日志文件大小和时间滚动。
父主题: 运维指导
运维指导 所有常见问题
- Flink作业提交错误,如何定位
- Flink作业运行异常,如何定位
- Flink作业重启后,如何判断是否可以从checkpoint恢复
- 作业语义检验时提示DIS通道不存在怎么处理?
- 如何处理作业的OBS Bucket没有授权?
- DLI Flink作业提交运行后(已选择保存作业日志到OBS桶),提交运行失败的情形(例如:jar包冲突),有时日志不会写到OBS桶中
- Kafka Sink配置发送失败重试机制
- 访问FlinkUI/SparkUI页面无法正常显示怎么办?
- Jobmanager与Taskmanager心跳超时,导致Flink作业异常怎么办?
- Flink jobmanager日志一直报Timeout expired while fetching topic metadata怎么办?
more