更新时间:2026-11-17 GMT+08:00
分享

查看作业归档日志

支持在AI DataLake控制台内直接查看Flink和Spark作业归档到OBS的日志内容。您无需跳转OBS控制台即可浏览归档日志文件,提升日志排障效率。

Flink和Spark作业由不同组件角色协同运行,每个组件角色对应一个或多个进程实例,日志按实例归档到OBS。查看日志时以组件角色为页签,页签内按实例组织展示各自的日志文件。各组件说明如下:

所属引擎

组件

角色

说明

实例数量

实例名称示例

Flink

JobManager

管理组件

负责作业调度、资源协调和容错管理。

通常1个

job-xxx-0-0

TaskManager

工作组件

负责实际执行任务,可根据并发度启动多个。

可多个

job-xxx-taskmanager-0-0、job-xxx-taskmanager-1-0

Spark

Driver

主控组件

负责任务解析、任务分发和作业调度。

通常1个

spark-xxx-driver-0

Executor

执行组件

负责执行具体任务和存储数据,可根据资源分配启动多个。

可多个

spark-xxx-exec-0、spark-xxx-exec-1

约束与限制

需要OBS服务正常运行,且您的账号有权限访问存储日志的OBS桶。

查看Flink作业归档日志

Flink作业归档日志按JobManager和TaskManager两个页签分类展示,页签内按实例组织展示各自的日志文件。

  1. 登录AI DataLake管理控制台。
  2. 在“作业开发”> “作业运行历史”页面,单击“流处理引擎Flink”。
  3. 单击目标作业名称“操作”列的“查看日志”。
  4. 切换页签,分别查看Job Manager和Task Managers日志。

    选择JobManager或TaskManager页签,单击目标实例,再单击目标日志文件名称,即可查看相关日志信息。您也可以单击"下载"按钮,下载日志到本地查看。

    Flink在K8s部署模式下,日志文件名会包含完整的容器信息前缀。用户在文件列表中看到的长名称文件,可通过前缀快速识别文件类别。JobManager和TaskManager实例下的日志文件类别相同,均包含下述文件。

    表1 Flink日志文件

    文件类别

    文件名格式

    文件名示例

    说明

    flink.log(运行容器)

    flink--kubernetes-{角色}-{序号}-job-{作业ID}-...

    flink--kubernetes-taskmanager-0-job-01a15d47-...-tas

    Flink运行容器日志,记录框架启动、作业调度、任务执行等运行信息,是排障的主要日志。

    flink.log(init容器)

    flink--kubernetes-init-job-{作业ID}-{角色}-{序号}-{序号}-{实例ID}.log

    flink--kubernetes-init-job-01a15d47-...-taskmanager-1-1-07a5ee.log

    Flink初始化容器日志,记录K8s init container的环境初始化过程。

    flink.out

    flink--kubernetes-...-job-...out

    flink--kubernetes-taskmanager-0-job-01a15d47-...-tas.out

    标准输出日志,记录应用程序通过System.out/System.err输出的内容。

    flink.err

    flink--kubernetes-application-{序号}-job-{作业ID}-{pod标识}.err

    flink--kubernetes-application-0-job-01a15d86-...-79cdb4f4b5-sqn2d.err

    标准错误输出日志,记录应用程序通过System.err输出的内容及未捕获的异常堆栈,是排查报错的主要日志。

    gc.log

    gc.log

    gc.log

    JVM垃圾回收日志,记录GC活动(如Young GC、Full GC)的时间、时长和内存变化,用于排查内存和频繁GC问题。

    临时管理文件

    tmp_tm_job-{作业ID}-{角色}-{序号}-{序号}-{实例ID}

    tmp_tm_job-01a15d47-...-taskmanager-1-1-07a5eee4

    临时管理文件,非日志文件,通常无需关注。

    当flink.log、flink.out和flink.err日志文件达到配置大小阈值或内部容器重启后,当前文件会重命名为带序号的备份文件,随后创建新的对应文件继续写入。

查看Spark作业归档日志

Spark作业归档日志按Driver和Executor分类展示,实例可多个。

  1. 登录AI DataLake管理控制台。
  2. 在“作业开发”> “作业运行历史”页面,单击“批处理引擎Spark”。
  3. 单击目标作业名称“操作”列的“更多”>“查看日志”。
  4. 切换页签,分别查看Driver或Executor日志。

    选择Driver或Executor页签,单击目标实例,再单击目标日志文件名称,即可查看相关日志信息。您也可以单击“下载”按钮,下载日志在本地查看。

    日志文件

    适用组件

    说明

    spark.log

    Driver、Executor

    Spark引擎运行日志,记录作业调度、Stage划分、Task执行、Shuffle等框架级运行信息,是Spark作业排障的主要日志。

    gc.log

    Driver、Executor

    JVM垃圾回收日志,记录GC活动(如Young GC、Full GC)的时间、时长和内存变化,用于排查内存泄漏和频繁GC导致的性能问题。

    stderr.log

    Driver、Executor

    标准错误输出日志,记录应用程序通过System.err输出的内容及未捕获的异常堆栈。

    stdout.log

    仅Driver

    标准输出日志,记录应用程序通过System.out输出的内容。Executor的标准输出通常重定向到stderr.log,因此Executor下不单独生成此文件。

    spark.log.日期-序号

    (如spark.log.2026-10-21-15.1)

    Driver、Executor

    spark.log的轮转备份文件。当日志文件达到配置大小阈值后,当前spark.log会重命名为带日期和序号的备份文件,随后创建新的spark.log继续写入。查看历史轮转日志可追溯更早的运行记录。

相关文档