文档首页/ 数据湖探索 DLI/ 常见问题/ Flink作业类/ Flink作业性能调优类/ DLI Flink作业提交运行后(已选择保存作业日志到OBS桶),提交运行失败的情形(例如:jar包冲突),有时日志不会写到OBS桶中
更新时间:2024-11-06 GMT+08:00
分享

DLI Flink作业提交运行后(已选择保存作业日志到OBS桶),提交运行失败的情形(例如:jar包冲突),有时日志不会写到OBS桶中

DLI Flink作业提交或运行失败时,对应生成的作业日志保存方式,包含以下三种情况:

  • 提交失败,只会在submit-client下生成提交日志。
  • 运行失败且在1分钟内的日志,可以直接在管理控制台页面查看,具体如下:

    “作业管理”>“Flink作业”页面,单击对应的作业名称,进入作业详情页面,单击“运行日志”可以查看实时日志。

  • 运行失败且超过1分钟(日志转储周期1分钟),会在application_xx下生成运行日志。
另外,由于DLI服务端已经内置了Flink的依赖包,并且基于开源社区版本做了安全加固。为了避免依赖包兼容性问题或日志输出及转储问题,打包时请注意排除以下文件:
  • 系统内置的依赖包,或者在Maven或者Sbt构建工具中将scope设为provided
  • 日志配置文件(例如l:“log4j.properties”或者“logback.xml”等)
  • 日志输出实现类JAR包(例如:log4j等)

在此基础上,taskmanager.log会随日志文件大小和时间滚动。

相关文档