更新时间:2023-03-17 GMT+08:00

Flink日志介绍

日志描述

日志存储路径:
  • Flink作业运行日志:“${BIGDATA_DATA_HOME}/hadoop/data${i}/nm/containerlogs/application_${appid}/container_{$contid}”。

    运行中的任务日志存储在以上路径中,运行结束后会基于Yarn的配置确定是否汇聚到HDFS目录中。

  • FlinkResource运行日志:“/var/log/Bigdata/flink/flinkResource”。

日志归档规则:

  1. FlinkResource运行日志:
    • 服务日志默认20MB滚动存储一次,最多保留20个文件,不压缩。

      针对MRS 3.x之前版本,Executor日志默认30MB滚动存储一次,最多保留20个文件,不压缩。

    • 日志大小和压缩文件保留个数可以在Manager界面中配置或者修改客户端“/opt/client/Flink/flink/conf/”中的log4j-cli.properties、log4j.properties、log4j-session.properties中对应的配置项。其中“/opt/client”为客户端安装目录。
    表1 FlinkResource日志列表

    日志类型

    日志文件名

    描述

    FlinkResource运行日志

    checkService.log

    健康检查日志。

    kinit.log

    初始化日志。

    postinstall.log

    服务安装日志。

    prestart.log

    prestart脚本日志。

    start.log

    启动日志。

日志级别

Flink中提供了如表2所示的日志级别。日志级别优先级从高到低分别是ERROR、WARN、INFO、DEBUG。程序会打印高于或等于所设置级别的日志,设置的日志等级越高,打印出来的日志就越少。

表2 日志级别

级别

描述

ERROR

ERROR表示当前时间处理存在错误信息。

WARN

WARN表示当前事件处理存在异常信息。

INFO

INFO表示记录系统及各事件正常运行状态信息。

DEBUG

DEBUG表示记录系统及系统的调试信息。

如果您需要修改日志级别,请执行如下操作:

  1. 请参考修改集群服务配置参数,进入Flink的“全部配置”页面。
  2. 左边菜单栏中选择所需修改的角色所对应的日志菜单。
  3. 选择所需修改的日志级别。
  4. 保存配置,在弹出窗口中单击“确定”使配置生效。
  • 配置完成后不需要重启服务,重新下载客户端使配置生效。
  • 也可以直接修改客户端“/opt/client/Flink/flink/conf/”中log4j-cli.properties、log4j.properties、log4j-session.properties文件中对应的日志级别配置项。其中“/opt/client”为客户端安装目录。
  • 通过客户端提交作业时会在客户端log文件夹中生成相应日志文件,由于系统默认umask值是0022,所以日志默认权限为644;如果需要修改文件权限,需要修改umask值;例如修改omm用户umask值:
    • 在“/home/omm/.baskrc”文件末尾添加“umask 0026”;
    • 执行命令source /home/omm/.baskrc使文件权限生效。

日志格式

表3 日志格式

日志类型

格式

示例

运行日志

<yyyy-MM-dd HH:mm:ss,SSS>|<Log Level>|<产生该日志的线程名字>|<log中的message>|<日志事件的发生位置>

2019-06-27 21:30:31,778 | INFO | [flink-akka.actor.default-dispatcher-3] | TaskManager container_e10_1498290698388_0004_02_000007 has started. | org.apache.flink.yarn.YarnFlinkResourceManager (FlinkResourceManager.java:368)