# 查看作业归档日志
支持在AI DataLake控制台内直接查看Flink和Spark作业归档到OBS的日志内容。您无需跳转OBS控制台即可浏览归档日志文件，提升日志排障效率。
Flink和Spark作业由不同组件角色协同运行，每个组件角色对应一个或多个进程实例，日志按实例归档到OBS。查看日志时以组件角色为页签，页签内按实例组织展示各自的日志文件。各组件说明如下：
| 所属引擎        | 组件           | 角色    | 说明                        | 实例数量 | 实例名称示例                                          |
|:---|:---|:---|:---|:---|:---|
| Flink  | JobManager   | 管理组件 | 负责作业调度、资源协调和容错管理。         | 通常1个     | job-xxx-0-0                                      |
| Flink  | TaskManager | 工作组件   | 负责实际执行任务，可根据并发度启动多个。      | 可多个    | job-xxx-taskmanager-0-0、job-xxx-taskmanager-1-0 |
| Spark   | Driver        | 主控组件    | 负责任务解析、任务分发和作业调度。          | 通常1个   | spark-xxx-driver-0                           |
| Spark   | Executor    | 执行组件   | 负责执行具体任务和存储数据，可根据资源分配启动多个。 | 可多个   | spark-xxx-exec-0、spark-xxx-exec-1              |
   
#### 约束与限制
需要OBS服务正常运行，且您的账号有权限访问存储日志的OBS桶。
#### 查看Flink作业归档日志
Flink作业归档日志按JobManager和TaskManager两个页签分类展示，页签内按实例组织展示各自的日志文件。
1. 登录[AI DataLake管理控制台](https://console.huaweicloud.com/fabric/)。
2. 在"作业开发"\> "作业运行历史"页面，单击"流处理引擎Flink"。
3. 单击目标作业名称"操作"列的"查看日志"。
4. 切换页签，分别查看Job Manager和Task Managers日志。 选择JobManager或TaskManager页签，单击目标实例，再单击目标日志文件名称，即可查看相关日志信息。您也可以单击"下载"按钮，下载日志到本地查看。
   Flink在K8s部署模式下，日志文件名会包含完整的容器信息前缀。用户在文件列表中看到的长名称文件，可通过前缀快速识别文件类别。JobManager和TaskManager实例下的日志文件类别相同，均包含下述文件。
   表1Flink日志文件 
   | 文件类别            | 文件名格式                                                      | 文件名示例                                                                | 说明                                                             |
   |:---|:---|:---|:---|
   | flink.log（运行容器） | flink--kubernetes-{角色}-{序号}-job-{作业ID}-...                 | flink--kubernetes-taskmanager-0-job-01a15d47-...-tas                 | Flink运行容器日志，记录框架启动、作业调度、任务执行等运行信息，是排障的主要日志。                     |
   | flink.log（init容器） | flink--kubernetes-init-job-{作业ID}-{角色}-{序号}-{序号}-{实例ID}.log | flink--kubernetes-init-job-01a15d47-...-taskmanager-1-1-07a5ee.log  | Flink初始化容器日志，记录K8s init container的环境初始化过程。                   |
   | flink.out        | flink--kubernetes-...-job-...out                            | flink--kubernetes-taskmanager-0-job-01a15d47-...-tas.out            | 标准输出日志，记录应用程序通过System.out/System.err输出的内容。                     |
   | flink.err         | flink--kubernetes-application-{序号}-job-{作业ID}-{pod标识}.err   | flink--kubernetes-application-0-job-01a15d86-...-79cdb4f4b5-sqn2d.err | 标准错误输出日志，记录应用程序通过System.err输出的内容及未捕获的异常堆栈，是排查报错的主要日志。         |
   | gc.log           | gc.log                                                      | gc.log                                                               | JVM垃圾回收日志，记录GC活动（如Young GC、Full GC）的时间、时长和内存变化，用于排查内存和频繁GC问题。 |
   | 临时管理文件            | tmp_tm_job-{作业ID}-{角色}-{序号}-{序号}-{实例ID}                     | tmp_tm_job-01a15d47-...-taskmanager-1-1-07a5eee4                    | 临时管理文件，非日志文件，通常无需关注。                                           |
      
   ![](https://support.huaweicloud.com/usermanual-aidatalake/public_sys-resources/note_3.0-zh-cn.png)
   当flink.log、flink.out和flink.err日志文件达到配置大小阈值或内部容器重启后，当前文件会重命名为带序号的备份文件，随后创建新的对应文件继续写入。
   
 
#### 查看Spark作业归档日志
Spark作业归档日志按Driver和Executor分类展示，实例可多个。
1. 登录[AI DataLake管理控制台](https://console.huaweicloud.com/fabric/)。
2. 在"作业开发"\> "作业运行历史"页面，单击"批处理引擎Spark"。
3. 单击目标作业名称"操作"列的"更多"\>"查看日志"。
4. 切换页签，分别查看Driver或Executor日志。 选择Driver或Executor页签，单击目标实例，再单击目标日志文件名称，即可查看相关日志信息。您也可以单击"下载"按钮，下载日志在本地查看。
   
   | 日志文件                                                                              | 适用组件              | 说明                                                                                                |
   |:---|:---|:---|
   | spark.log                                                                          | Driver、Executor | Spark引擎运行日志，记录作业调度、Stage划分、Task执行、Shuffle等框架级运行信息，是Spark作业排障的主要日志。                                 |
   | gc.log                                                                             | Driver、Executor   | JVM垃圾回收日志，记录GC活动（如Young GC、Full GC）的时间、时长和内存变化，用于排查内存泄漏和频繁GC导致的性能问题。                             |
   | stderr.log                                                                         | Driver、Executor   | 标准错误输出日志，记录应用程序通过System.err输出的内容及未捕获的异常堆栈。                                                          |
   | stdout.log                                                                        | 仅Driver         | 标准输出日志，记录应用程序通过System.out输出的内容。Executor的标准输出通常重定向到stderr.log，因此Executor下不单独生成此文件。                 |
   | spark.log.日期-序号 （如spark.log.2026-10-21-15.1） | Driver、Executor | spark.log的轮转备份文件。当日志文件达到配置大小阈值后，当前spark.log会重命名为带日期和序号的备份文件，随后创建新的spark.log继续写入。查看历史轮转日志可追溯更早的运行记录。 |
      
   
 
