查看作业归档日志
支持在AI DataLake控制台内直接查看Flink和Spark作业归档到OBS的日志内容。您无需跳转OBS控制台即可浏览归档日志文件,提升日志排障效率。
Flink和Spark作业由不同组件角色协同运行,每个组件角色对应一个或多个进程实例,日志按实例归档到OBS。查看日志时以组件角色为页签,页签内按实例组织展示各自的日志文件。各组件说明如下:
| 所属引擎 | 组件 | 角色 | 说明 | 实例数量 | 实例名称示例 |
|---|---|---|---|---|---|
| Flink | JobManager | 管理组件 | 负责作业调度、资源协调和容错管理。 | 通常1个 | job-xxx-0-0 |
| TaskManager | 工作组件 | 负责实际执行任务,可根据并发度启动多个。 | 可多个 | job-xxx-taskmanager-0-0、job-xxx-taskmanager-1-0 | |
| Spark | Driver | 主控组件 | 负责任务解析、任务分发和作业调度。 | 通常1个 | spark-xxx-driver-0 |
| Executor | 执行组件 | 负责执行具体任务和存储数据,可根据资源分配启动多个。 | 可多个 | spark-xxx-exec-0、spark-xxx-exec-1 |
约束与限制
需要OBS服务正常运行,且您的账号有权限访问存储日志的OBS桶。
查看Flink作业归档日志
Flink作业归档日志按JobManager和TaskManager两个页签分类展示,页签内按实例组织展示各自的日志文件。
- 登录AI DataLake管理控制台。
- 在“作业开发”> “作业运行历史”页面,单击“流处理引擎Flink”。
- 单击目标作业名称“操作”列的“查看日志”。
- 切换页签,分别查看Job Manager和Task Managers日志。
选择JobManager或TaskManager页签,单击目标实例,再单击目标日志文件名称,即可查看相关日志信息。您也可以单击"下载"按钮,下载日志到本地查看。
Flink在K8s部署模式下,日志文件名会包含完整的容器信息前缀。用户在文件列表中看到的长名称文件,可通过前缀快速识别文件类别。JobManager和TaskManager实例下的日志文件类别相同,均包含下述文件。
表1 Flink日志文件 文件类别
文件名格式
文件名示例
说明
flink.log(运行容器)
flink--kubernetes-{角色}-{序号}-job-{作业ID}-...
flink--kubernetes-taskmanager-0-job-01a15d47-...-tas
Flink运行容器日志,记录框架启动、作业调度、任务执行等运行信息,是排障的主要日志。
flink.log(init容器)
flink--kubernetes-init-job-{作业ID}-{角色}-{序号}-{序号}-{实例ID}.log
flink--kubernetes-init-job-01a15d47-...-taskmanager-1-1-07a5ee.log
Flink初始化容器日志,记录K8s init container的环境初始化过程。
flink.out
flink--kubernetes-...-job-...out
flink--kubernetes-taskmanager-0-job-01a15d47-...-tas.out
标准输出日志,记录应用程序通过System.out/System.err输出的内容。
flink.err
flink--kubernetes-application-{序号}-job-{作业ID}-{pod标识}.err
flink--kubernetes-application-0-job-01a15d86-...-79cdb4f4b5-sqn2d.err
标准错误输出日志,记录应用程序通过System.err输出的内容及未捕获的异常堆栈,是排查报错的主要日志。
gc.log
gc.log
gc.log
JVM垃圾回收日志,记录GC活动(如Young GC、Full GC)的时间、时长和内存变化,用于排查内存和频繁GC问题。
临时管理文件
tmp_tm_job-{作业ID}-{角色}-{序号}-{序号}-{实例ID}
tmp_tm_job-01a15d47-...-taskmanager-1-1-07a5eee4
临时管理文件,非日志文件,通常无需关注。
当flink.log、flink.out和flink.err日志文件达到配置大小阈值或内部容器重启后,当前文件会重命名为带序号的备份文件,随后创建新的对应文件继续写入。
查看Spark作业归档日志
Spark作业归档日志按Driver和Executor分类展示,实例可多个。
- 登录AI DataLake管理控制台。
- 在“作业开发”> “作业运行历史”页面,单击“批处理引擎Spark”。
- 单击目标作业名称“操作”列的“更多”>“查看日志”。
- 切换页签,分别查看Driver或Executor日志。
选择Driver或Executor页签,单击目标实例,再单击目标日志文件名称,即可查看相关日志信息。您也可以单击“下载”按钮,下载日志在本地查看。
日志文件
适用组件
说明
spark.log
Driver、Executor
Spark引擎运行日志,记录作业调度、Stage划分、Task执行、Shuffle等框架级运行信息,是Spark作业排障的主要日志。
gc.log
Driver、Executor
JVM垃圾回收日志,记录GC活动(如Young GC、Full GC)的时间、时长和内存变化,用于排查内存泄漏和频繁GC导致的性能问题。
stderr.log
Driver、Executor
标准错误输出日志,记录应用程序通过System.err输出的内容及未捕获的异常堆栈。
stdout.log
仅Driver
标准输出日志,记录应用程序通过System.out输出的内容。Executor的标准输出通常重定向到stderr.log,因此Executor下不单独生成此文件。
spark.log.日期-序号
(如spark.log.2026-10-21-15.1)
Driver、Executor
spark.log的轮转备份文件。当日志文件达到配置大小阈值后,当前spark.log会重命名为带日期和序号的备份文件,随后创建新的spark.log继续写入。查看历史轮转日志可追溯更早的运行记录。