- 最新动态
- 功能总览
- 产品介绍
- 计费说明
- 快速入门
-
用户指南
- 授权IAM用户使用云日志服务LTS
- 购买LTS资源包
- 日志管理
-
日志接入
- 日志接入概述
- 使用ICAgent插件采集日志
-
使用云服务接入LTS
- 云服务接入LTS概述
- 应用运维管理AOM接入LTS
- API网关APIG接入LTS
- Astro轻应用接入LTS
- 云堡垒机CBH接入LTS
- 内容分发网络CDN接入LTS
- 云防火墙CFW接入LTS
- 云审计服务CTS接入LTS
- 分布式缓存服务DCS接入LTS
- 文档数据库服务DDS接入LTS
- DDoS防护 AAD接入LTS
- 分布式消息服务Kafka版接入LTS
- 数据复制服务DRS接入LTS
- 数据仓库服务GaussDB(DWS)接入LTS
- 弹性负载均衡 ELB接入LTS
- 企业路由器ER接入LTS
- 函数工作流FunctionGraph接入LTS
- 云数据库GaussDB接入LTS
- 图引擎服务GES接入LTS
- 云数据库 TaurusDB接入LTS
- 云数据库GeminiDB接入LTS
- 云数据库GeminiDB Mongo接入LTS
- 云数据库GeminiDB Cassandra接入LTS
- 华为HiLens接入LTS
- 设备接入IoTDA接入LTS
- AI开发平台ModelArts接入LTS
- MapReduce服务MRS接入LTS
- 云数据库RDS for MySQL接入LTS
- 云数据库RDS for PostgreSQL接入LTS
- 云数据库RDS for SQLServer接入LTS
- 应用与数据集成平台ROMA Connect接入LTS
- 视频直播Live接入LTS
- 消息通知服务SMN接入LTS
- 安全云脑SecMaster接入LTS
- 对象存储服务OBS接入LTS(邀测)
- 虚拟私有云VPC接入LTS
- Web应用防火墙WAF接入LTS
- 使用API接入LTS
- 使用SDK接入LTS
- 跨IAM账号接入LTS
- 使用KAFKA协议上报日志到LTS
- 使用Flume采集器上报日志到LTS
- 使用匿名写入采集日志
- 自建中间件
- 日志搜索与分析(默认推荐)
- 日志搜索与分析(管道符方式-邀测)
- 日志可视化
- 日志告警
- 日志转储
- 日志消费与加工
- LTS配置中心管理
- 查看LTS审计事件
- 最佳实践
- 开发指南
- API参考
- SDK参考
- 场景代码示例
- 常见问题
- 视频帮助
- 文档下载
- 通用参考
链接复制成功!
中间件-Flink日志
Flink是一个大数据处理引擎的处理框架,是针对流进行的处理。它是Apache旗下的一个框架和分布式的处理引擎,用于对无界和有界的数据进行状态的计算。Flink的核心特点包括高吞吐、低延迟(每秒处理数百万个事件,毫秒级延迟),以及结果的准确性(Flink提供了时间事件(event-time)和处理事件(processing-time)语义)。
Flink 的系统日志通常包含了关于 Flink 运行时的各种信息,如任务执行情况、错误信息、资源使用情况等。
采集方法
使用ICAgent采集日志,接入前请参考安装ICAgent(区域内主机)完成ICAgent安装。然后再通过采集ECS-文本日志方式将日志上报至LTS服务,详细操作请参考云主机ECS文本日志接入LTS。
Flink日志示例以及字段含义
系统日志示例:
2023-10-23 14:35:00,000 INFO org.apache.flink.runtime.taskmanager.Task - Source: Custom Source -> Map (1/1) (83529a6b73e4a3f7046f695a27f67f32) switched from RUNNING to FINISHED. 2023-10-23 14:35:01,500 WARN org.apache.flink.runtime.checkpoint.CheckpointCoordinator - Checkpoint 1 for job 83529a6b73e4a3f7046f695a27f67f32 timed out after 60000 milliseconds. This indicates a problem with the job, as the checkpoints were not completed in time. 2023-10-23 14:35:05,000 ERROR org.apache.flink.runtime.executiongraph.ExecutionGraph - Job 83529a6b73e4a3f7046f695a27f67f32 failed.
字段 |
说明 |
示例 |
---|---|---|
时间戳 |
该条日志的生成时间。 |
2023-10-23 14:35:00,000 |
日志级别 |
该条日志的重要性或紧急程度,常见的级别有INFO、WARN、ERROR等。 |
INFO |
日志来源 |
生成该条日志的组件或任务。 |
org.apache.flink.runtime.taskmanager.Task |
任务/作业信息 |
日志中可能包含任务或作业的相关信息,如任务名称、任务ID、作业ID等。在这个示例中,有任务名称 Source: Custom Source -> Map (1/1) 和作业ID 83529a6b73e4a3f7046f695a27f67f32。 |
- |
状态变化 |
记录任务或作业的状态变化。 |
如switched from RUNNING to FINISHED表示任务从运行状态切换到完成状态。 |
错误信息 |
如果日志级别为ERROR,则可能包含有关错误的详细信息。 |
如 Job 83529a6b73e4a3f7046f695a27f67f32 failed. 表示作业失败。 |
日志位置
- 在YARN上运行的Flink 作业:
Flink-on-YARN 模式的作业日志输出路径通常是 **$HADOOP_HOME/logs/userlogs/<APPLICATION_ID>/<CONTAINER_ID>/**。这里的 $HADOOP_HOME 是Hadoop的安装目录,<APPLICATION_ID>和<CONTAINER_ID> 是YARN分配给Flink作业的标识符。可以在yarn-site.xml配置文件中修改YARN的日志目录,通过<property><name>yarn.nodemanager.log-dirs</name><value>/your/custom/log/path</value></property>来指定。
- 独立部署的Flink集群:如果在独立模式下部署Flink集群,那么日志文件通常位于Flink安装目录下的log或logs文件夹中。如果Flink安装在/usr/local/flink,则日志文件可能位于/usr/local/flink/log 或 /usr/local/flink/logs。