- 最新动态
- 功能总览
- 产品介绍
- 计费说明
- 快速入门
-
用户指南
- 授权IAM用户使用云日志服务LTS
- 购买LTS资源包
- 日志管理
-
日志接入
- 日志接入概述
- 使用ICAgent插件采集日志
-
使用云服务接入LTS
- 云服务接入LTS概述
- 应用运维管理AOM接入LTS
- API网关APIG接入LTS
- Astro轻应用接入LTS
- 云堡垒机CBH接入LTS
- 内容分发网络CDN接入LTS
- 云防火墙CFW接入LTS
- 云审计服务CTS接入LTS
- 分布式缓存服务DCS接入LTS
- 文档数据库服务DDS接入LTS
- DDoS防护 AAD接入LTS
- 分布式消息服务Kafka版接入LTS
- 数据复制服务DRS接入LTS
- 数据仓库服务GaussDB(DWS)接入LTS
- 弹性负载均衡 ELB接入LTS
- 企业路由器ER接入LTS
- 函数工作流FunctionGraph接入LTS
- 云数据库GaussDB接入LTS
- 图引擎服务GES接入LTS
- 云数据库 TaurusDB接入LTS
- 云数据库GeminiDB接入LTS
- 云数据库GeminiDB Mongo接入LTS
- 云数据库GeminiDB Cassandra接入LTS
- 华为HiLens接入LTS
- 设备接入IoTDA接入LTS
- AI开发平台ModelArts接入LTS
- MapReduce服务MRS接入LTS
- 云数据库RDS for MySQL接入LTS
- 云数据库RDS for PostgreSQL接入LTS
- 云数据库RDS for SQLServer接入LTS
- 应用与数据集成平台ROMA Connect接入LTS
- 视频直播Live接入LTS
- 消息通知服务SMN接入LTS
- 安全云脑SecMaster接入LTS
- 对象存储服务OBS接入LTS(邀测)
- 虚拟私有云VPC接入LTS
- Web应用防火墙WAF接入LTS
- 使用API接入LTS
- 使用SDK接入LTS
- 跨IAM账号接入LTS
- 使用KAFKA协议上报日志到LTS
- 使用Flume采集器上报日志到LTS
- 使用匿名写入采集日志
- 自建中间件
- 日志搜索与分析(默认推荐)
- 日志搜索与分析(管道符方式-邀测)
- 日志可视化
- 日志告警
- 日志转储
- 日志消费与加工
- LTS配置中心管理
- 查看LTS审计事件
- 最佳实践
- 开发指南
- API参考
- SDK参考
- 场景代码示例
- 常见问题
- 视频帮助
- 文档下载
- 通用参考
链接复制成功!
中间件-ElasticSearch日志
ElasticSearch是一个开源的分布式搜索和分析引擎,被广泛用于构建实时的、可扩展的搜索和分析应用程序。它的主要作用是存储、搜索和分析大量的数据。ElasticSearch的日志是记录其运行过程中各种信息的重要工具,主要有以下两种类型:
- 主要日志(cluster-name.log,以集群名称命名:记录了ElasticSearch运行时所发生一切的综合信息,如某个查询失败、一个新的节点加入集群等。这是了解ElasticSearch集群整体运行状况的重要日志。
- 慢搜索日志(cluster-name_index_search_slowlog.log,以集群名称命名):当某个查询运行得很慢时,ElasticSearch会在这里进行记录。默认情况下,如果一个查询花费的时间多于半秒,将在这里写入一条记录。这对于分析和优化查询性能非常有用。
除了上述两种主要的日志类型外,ElasticSearch还提供了其他类型的日志,如弃用日志(用于记录已弃用的功能或配置)、访问日志(记录所有查询请求的详细信息)等。
采集方法
使用ICAgent采集日志,接入前请参考安装ICAgent(区域内主机)完成ICAgent安装。然后再通过采集ECS-文本日志方式将日志上报至LTS服务,详细操作请参考云主机ECS文本日志接入LTS。
Elasticsearch日志示例以及字段含义
- 主要日志
{ "log.level": "INFO", "@timestamp": "2023-10-23T15:46:30.123Z", "log.origin.file.name": "Elasticsearch.java", "log.origin.file.line": 123, "message": "version[7.17.2], pid[12345], build[default/tar/1234567/2023-10-01T12:00:00.000Z], OS[Linux/5.10.0-10-amd64/amd64], JVM[Eclipse Adoptium/OpenJDK 64-Bit Server VM/11.0.14.1/11.0.14.1+1-LTS]", "type": "server", "cluster.name": "my-cluster", "node.name": "node-1", "node.id": "abcdefg123", "ecs.version": "1.8.0" } { "log.level": "WARN", "@timestamp": "2023-10-23T15:47:00.456Z", "log.origin.file.name": "SlowLog.java", "log.origin.file.line": 456, "message": "[index][search_slowlog][index_name] took[5.6s], took_millis[5600], total_hits[1000], types[], stats[], search_type[QUERY_THEN_FETCH], source[...]", "type": "slowlog", "cluster.name": "my-cluster", "node.name": "node-1", "index.name": "index_name" }
表1 主要日志字段说明 字段
说明
示例
log.level
日志级别,可以是INFO、WARN、ERROR等。
INFO
@timestamp
日志记录的时间戳。
2023-10-23T15:46:30.123Z
log.origin.file.name
生成日志条目的源文件名。
Elasticsearch.java
log.origin.file.line
生成日志条目的源文件行号。
123
message
实际的日志消息内容。
version[7.17.2], pid[12345], build[default/tar/1234567/2023-10-01T12:00:00.000Z], OS[Linux/5.10.0-10-amd64/amd64], JVM[Eclipse Adoptium/OpenJDK 64-Bit Server VM/11.0.14.1/11.0.14.1+1-LTS]
type
日志条目的类型(如 server、slowlog、transport 等)。
server
cluster.name
Elasticsearch集群的名称。
my-cluster
node.name
产生日志的Elasticsearch节点的名称。
node-1
node.id
产生日志的Elasticsearch节点的ID。
abcdefg123
index.name
(在某些日志条目中):与日志条目相关的索引名称。
index_name
ecs.version
Elastic Common Schema (ECS) 的版本,ECS是一个用于标准化Elasticsearch日志字段的规范。
1.8.0
- 慢搜索日志
{ "type": "slowlog", "timestamp": "2023-10-23T16:15:30,234Z", "level": "WARN", "component": "o.e.i.s.q", "cluster.name": "my-cluster", "node.name": "node-1", "node.id": "abcdefg123", "took": "10.5s", "took_millis": 10500, "source": "{\"query\":{\"match_all\":{}}}\n", "shards": [ { "index": "my_index", "shard": "0", "search_type": "QUERY_THEN_FETCH", "total_hits": 12345, "status": 200, "forced_refresh": false, "request_cache": true, "scroll_size": 0 } ] }
表2 慢搜索日志字段说明 字段
说明
示例
type
日志类型。
"slowlog",表示这是一个慢查询日志条目。
timestamp
日志条目的时间戳。
2023-10-23T16:15:30,234Z
level
日志级别。
"WARN",表示这是一个警告级别的日志条目。
component
产生日志的组件。
"o.e.i.s.q",代表Elasticsearch内部的一个特定组件或模块。
cluster.name
Elasticsearch 集群的名称。
my-cluster
node.name
产生日志的节点的名称。
node-1
node.id
产生日志的节点的ID。
abcdefg123
took
查询执行的总时间,以人类可读的格式(如 "10.5s")表示。
10.5s
took_millis
查询执行的总时间,以毫秒为单位。
10500
source
触发慢查询的原始查询语句(JSON格式)。
{"query":{"match_all":{}}}\n
shards
慢查询涉及的分片信息数组。
-
index
分片所在的索引名称。
my_index
shard
分片的ID。
0
search_type
查询类型。
QUERY_THEN_FETCH
total_hits
查询返回的总命中数。
12345
status
查询的HTTP状态码。
200
forced_refresh
是否强制刷新分片。
false
request_cache
是否使用请求缓存。
true
scroll_size
滚动查询的大小(如果不适用则为 0)。
0