更新时间:2024-09-27 GMT+08:00
查询Flink作业日志
操作场景
DLI作业桶用于存储DLI作业运行过程中产生的临时数据,例如:作业日志、作业结果。
本节操作指导您在DLI管理控制台配置DLI作业桶,并查看Flink作业日志的操作方法。
使用须知
- 请勿将该DLI作业桶绑定的OBS桶用作其它用途,避免出现作业结果混乱等问题。
- DLI作业要由用户主账户统一设置及修改,子用户无权限。
- 不配置DLI作业桶无法查看作业日志。
- 您可以通过配置桶的生命周期规则,定时删除桶中的对象或者定时转换对象的存储类别。
- DLI的作业桶设置后请谨慎修改,否则可能会造成历史数据无法查找。
前提条件
配置前,请先购买OBS桶或并行文件系统。大数据场景推荐使用并行文件系统,并行文件系统(Parallel File System)是对象存储服务(Object Storage Service,OBS)提供的一种经过优化的高性能文件系统,提供毫秒级别访问时延,以及TB/s级别带宽和百万级别的IOPS,能够快速处理高性能计算(HPC)工作负载。
并行文件系统的详细介绍和使用说明,请参见OBS用户指南中的《并行文件系统特性指南》。
配置DLI作业桶
- 在DLI控制台左侧导航栏中单击“全局配置 > 工程配置”。
- 在“工程配置”页面,选择“DLI作业桶”,单击配置桶信息。
图1 工程配置
- 单击打开桶列表。
- 选择用于存放DLI作业临时数据的桶,并单击“确定”。
查看Flink作业提交日志
用户可以通过查看提交日志排查提交作业异常的故障。
- 在DLI管理控制台的左侧导航栏中,单击 > ,进入Flink作业管理页面。
- 单击需要查看的作业名称,进入“作业详情”页面。
- 在“提交日志”页签,可以查看提交作业的过程信息。
图3 提交日志
查看Flink作业运行日志
用户可以通过查看运行日志排查作业运行异常的故障。
- 在DLI管理控制台的左侧导航栏中,单击 > ,进入Flink作业管理页面。
- 单击需要查看的作业名称,进入“作业详情”页面。
- 在“运行日志”页签,可以查看运行中作业的JobManager和TaskManager信息。
图4 Flink作业运行日志
JobManager和TaskManager信息每分钟刷新一次,默认展示最近一分钟的运行日志。
如果作业配置了保存作业日志的OBS桶,更多历史日志信息可以到保存日志的OBS桶中下载查看。
在OBS中,上传文件的具体方式和要求可以参考《对象存储服务快速入门》>“上传对象”。
如果作业没有运行,则无法查看TaskManager信息。
父主题: 使用DLI提交Flink作业