Flink日志介绍

日志描述

日志归档规则：

1. FlinkResource运行日志：
   • 服务日志默认20MB滚动存储一次，最多保留20个文件，不压缩。
     

     针对MRS 3.x之前版本，Executor日志默认30MB滚动存储一次，最多保留20个文件，不压缩。

   • 日志大小和压缩文件保留个数可以在Manager界面中配置或者修改客户端“客户端安装目录/Flink/flink/conf/”中的log4j-cli.properties、log4j.properties、log4j-session.properties中对应的配置项。

   表1 FlinkResource日志列表

   日志类型	日志文件名	描述
   FlinkResource运行日志	checkService.log	健康检查日志。
   	kinit.log	初始化日志。
   	postinstall.log	服务安装日志。
   	prestart.log	prestart脚本日志。
   	start.log	启动日志。

2. FlinkServer服务日志、审计日志。
   • FlinkServer服务日志、审计日志默认100MB滚动存储一次，服务日志最多保留30天，审计日志最多保留90天。
   • 日志大小和压缩文件保留个数可以在Manager界面中配置或者修改客户端“客户端安装目录/Flink/flink/conf/”中的log4j-cli.properties、log4j.properties、log4j-session.properties中对应的配置项。

   表2 FlinkServer日志列表

   日志类型	日志文件名	描述
   FlinkServer运行日志	checkService.log	健康检查日志。
   	checkFlinkServer.log	FlinkServer健康检查日志。
   	localhost_access_log..yyyy-mm-dd.txt	FlinkServer访问URL日志。
   	start_thrift_server.out	thrift server启动日志。
   	thrift_server_thriftServer_xxx.log.last
   	cleanup.log	安装卸载实例时的清理日志。
   	flink-omm-client-IP.log	作业启动日志。
   	flinkserver_yyyymmdd-x.log.gz	业务归档日志。
   	flinkserver.log	业务日志。
   	flinkserver---pidxxxx-gc.log.x.current	GC日志。
   	kinit.log	初始化日志。
   	postinstall.log	服务安装日志。
   	prestart.log	prestart脚本日志。
   	start.log	启动日志。
   	stop.log	停止日志。
   	catalina.yyyy-mm-dd.log	tomcat运行日志.。
   	catalina.out
   	host-manager.yyyy-mm-dd.log
   	localhost.yyyy-mm-dd.log
   	manager.yyyy-mm-dd.log
   FlinkServer审计日志	flinkserver_audit_yyyymmdd-x.log.gz	审计归档日志。
   	flinkserver_audit.log	审计日志。

日志级别

Flink中提供了如表3所示的日志级别。日志级别优先级从高到低分别是ERROR、WARN、INFO、DEBUG。程序会打印高于或等于所设置级别的日志，设置的日志等级越高，打印出来的日志就越少。

如果您需要修改日志级别，请执行如下操作：

1. 请参考修改集群服务配置参数，进入Flink的“全部配置”页面。
2. 左边菜单栏中选择所需修改的角色所对应的日志菜单。
3. 选择所需修改的日志级别。
4. 保存配置，在弹出窗口中单击“确定”使配置生效。

• 配置完成后不需要重启服务，重新下载客户端使配置生效。
• 也可以直接修改客户端“客户端安装目录/Flink/flink/conf/”中log4j-cli.properties、log4j.properties、log4j-session.properties文件中对应的日志级别配置项。
• 通过客户端提交作业时会在客户端log文件夹中生成相应日志文件，由于系统默认umask值是0022，所以日志默认权限为644；如果需要修改文件权限，需要修改umask值；例如修改omm用户umask值：
  • 在“/home/omm/.baskrc”文件末尾添加“umask 0026”；
  • 执行命令source /home/omm/.baskrc使文件权限生效。

日志格式