- 最新动态
- 功能总览
- 产品介绍
- 计费说明
- 快速入门
-
用户指南
- 授权IAM用户使用云日志服务LTS
- 日志管理
-
日志接入
- 日志接入概述
- 使用ICAgent插件采集日志
-
使用云服务接入LTS
- 云服务接入LTS概述
- 应用运维管理AOM接入LTS
- API网关APIG接入LTS
- 云堡垒机CBH接入LTS
- 云防火墙CFW接入LTS
- 云审计服务CTS接入LTS
- 文档数据库服务DDS接入LTS
- 分布式消息服务Kafka版接入LTS
- 数据复制服务DRS接入LTS
- 数据仓库服务GaussDB(DWS)接入LTS
- 弹性负载均衡 ELB接入LTS
- 企业路由器ER接入LTS
- 函数工作流FunctionGraph接入LTS
- 云数据库GaussDB接入LTS
- 图引擎服务GES接入LTS
- 云数据库 TaurusDB接入LTS
- 云数据库GeminiDB接入LTS
- 云数据库GeminiDB Mongo接入LTS
- 云数据库GeminiDB Cassandra接入LTS
- 设备接入IoTDA接入LTS
- AI开发平台ModelArts接入LTS
- MapReduce服务MRS接入LTS
- 云数据库RDS for MySQL接入LTS
- 云数据库RDS for PostgreSQL接入LTS
- 云数据库RDS for SQLServer接入LTS
- 应用与数据集成平台ROMA Connect接入LTS
- 消息通知服务SMN接入LTS
- 安全云脑SecMaster接入LTS
- 对象存储服务OBS接入LTS(邀测)
- 虚拟私有云VPC接入LTS
- Web应用防火墙WAF接入LTS
- 使用API接入LTS
- 跨IAM账号接入LTS
- 使用KAFKA协议上报日志到LTS
- 使用Flume采集器上报日志到LTS
- 日志搜索与分析
- 日志可视化
- 日志告警
- 日志转储
- 日志加工
- LTS配置中心管理
- 查看LTS审计事件
- 最佳实践
- 开发指南
- API参考
- SDK参考
- 常见问题
-
更多文档
- 用户指南(阿布扎比区域)
- API参考(阿布扎比区域)
- 用户指南(巴黎区域)
- API参考(巴黎区域)
- 用户指南(吉隆坡区域)
- API参考(吉隆坡区域)
- 用户指南(安卡拉区域)
- API参考(安卡拉区域)
- 视频帮助
- 通用参考
链接复制成功!
结构化方式
云日志服务(LTS)目前支持5种日志结构化方式,分别是正则分析、JSON、分隔符、Nginx和结构化模板。您可以根据日志内容的实际场景进行选择。
正则分析
正则分析是使用正则表达式提取字段。
- 选择示例日志:应选择一条比较典型的日志作为示例日志。
- 从已有日志中选择:单击“从已有日志中选择”,在弹出框中根据业务需求选择待操作的日志,单击“确定”。通过选择不同时间段筛选日志。
- 从剪切板中粘贴:单击“从剪切板中粘贴”,可直接自动将您剪切的日志内容复制到示例日志框中。
说明:
时间范围有三种方式,分别是相对时间、整点时间和自定义时间。您可以根据自己的实际需求,选择时间范围。
- 相对时间:表示查询距离当前时间1分钟、5分钟、15分钟等时间区间的日志数据。例如当前时间为19:20:31,设置相对时间1小时,表示查询18:20:31~19:20:31的日志数据。
- 整点时间:表示查询最近整点1分钟、15分钟等时间区间的日志数据。例如当前时间为19:20:31,设置整点时间1小时,表示查询18:00:00~19:00:00的日志数据。
- 自定义时间:表示查询指定时间范围的日志数据
- 字段提取。包括自动生成和手动输入两种方式,可将选择的日志提取为以一个示例字段对应一个字段名称的格式的日志解析结果。
- 自动生成:当用户选择自动生成时,可以用鼠标选中示例日志中待结构化的日志内容,在弹出的对话框中为选中内容设置一个名称,名称必须以字母开始,且仅包含字母和数字。单击“添加”,如下图所示。
- 手动输入:当用户选择手动输入时,可以在输入框中输入正则表达式,单击“生成字段”来进行字段提取。正则表达式通过分组来捕获字段,分组指用圆括号"()"括起来的正则表达式,匹配出的内容就表示一个分组,分组包含如下三种形式:
- (exp):把括号内的正则作为一个分组,系统自动分配组号,规则为从正则表达式的左边开始,第一个左括号”(”对应第一个分组,第二个”(”对应第二个分组,依次类推,组号从1开始,从左向右,依次累加。
- (?<name>exp):表示命名分组,分组的正则表达式为exp,分组名为name。分组名必须以字母开始,且仅包含字母和数字,可以通过分组名或分组号引用该分组。
- (?:exp):表示不捕获分组,该分组只在当前位置匹配文本,在该分组之后,无法引用该分组,因为该分组没有分组名,没有分组号,也不会占用分组编号。
说明:
- 在手工输入方式中,正则表达式的长度不能超过5000个字符,不强制要求用户在输入正则表达式时对分组进行命名,单击“生成字段”会以命名分组中的分组名作为字段名称,对于非命名分组会提取出对应的字段,并给字段名称默认命名field1、field2、field3……。
- 单击“保存”,完成日志结构化配置,初次设置完成后将不能对字段类型编辑修改。
JSON
JSON是通过提取JSON字段将其拆分为键值对。
- 选择示例日志:应选择一条比较典型的日志作为示例日志。在“步骤1 选择示例日志”中,可单击“从已有日志中选择”,在弹出框中根据业务需求选择待操作的日志,也可以直接在输入框中输入待操作的日志,单击“确定”。通过选择不同时间段筛选日志。
说明:
时间范围有三种方式,分别是相对时间、整点时间和自定义时间。您可以根据自己的实际需求,选择时间范围。
- 相对时间:表示查询距离当前时间1分钟、5分钟、15分钟等时间区间的日志数据。例如当前时间为19:20:31,设置相对时间1小时,表示查询18:20:31~19:20:31的日志数据。
- 整点时间:表示查询最近整点1分钟、15分钟等时间区间的日志数据。例如当前时间为19:20:31,设置整点时间1小时,表示查询18:00:00~19:00:00的日志数据。
- 自定义时间:表示查询指定时间范围的日志数据
- 字段提取。可将输入或选择的日志自动提取为以一个示例字段对应一个字段名称的格式的日志解析结果。
在“步骤2 字段提取”下单击“智能提取”。以如下原始日志为例进行分析:
将以下原始日志输入待操作框中。
{"a1": "a1", "b1": "b1", "c1": "c1", "d1": "d1"}
通过智能提取结果如下图。
图1 提取结果说明:
- 当日志提取字段的类型为float时,精确度为7位有效数字。
- 如果超过7位有效数字的话,则会导致提取字段内容不准确,从而影响可视化查看和快速分析,因此建议将字段类型修改为String。
在字段提取完成后,可对日志模板进行设置。结构化字段设置规则请参考设置结构化字段。
- 单击“保存”,完成日志结构化配置,初次设置完成后将不能对字段类型编辑修改。
分隔符
分隔符是使用分隔符(例如:逗号、空格或字符)提取字段。
- 选择示例日志:应选择一条比较典型的日志作为示例日志。在“步骤1 选择示例日志”中,可单击“从已有日志中选择”,在弹出框中根据业务需求选择待操作的日志,也可以直接在输入框中输入待操作的日志,单击“确定”。通过选择不同时间段筛选日志。
说明:
时间范围有三种方式,分别是相对时间、整点时间和自定义时间。您可以根据自己的实际需求,选择时间范围。
- 相对时间:表示查询距离当前时间1分钟、5分钟、15分钟等时间区间的日志数据。例如当前时间为19:20:31,设置相对时间1小时,表示查询18:20:31~19:20:31的日志数据。
- 整点时间:表示查询最近整点1分钟、15分钟等时间区间的日志数据。例如当前时间为19:20:31,设置整点时间1小时,表示查询18:00:00~19:00:00的日志数据。
- 自定义时间:表示查询指定时间范围的日志数据
- 在“步骤2 指定分隔符”需要根据原始日志内容选择分隔符,或自定义其他需要的特殊字符作为分隔符。
说明:
- 不可见字符需要输入0x开头的16进制字符,长度为0-4个字符,总共32个不可见字符。
- 自定义字符支持输入1-10个字符,每个字符都作为独立的分隔符。
- 自定义字符串支持输入1-30个字符,字符串整体作为一个分隔符。
- 字段提取。可将输入或选择的日志自动提取为以一个示例字段对应一个字段名称的格式的日志解析结果。
在“步骤3字段提取”下单击“智能提取”。以如下原始日志为例进行分析:
将以下原始日志输入待操作框中。
1 5f67944957444bd6bb4fe3b367de8f3d 1d515d18-1b36-47dc-a983-bd6512aed4bd 192.168.0.154 192.168.3.25 38929 53 17 1 96 1548752136 1548752736 ACCEPT OK
配置通过智能提取结果如下图。
说明:
当日志提取字段的类型为float时,精确度为7位有效数字。
如果超过7位有效数字的话,则会导致提取字段内容不准确,从而影响可视化查看和快速分析,因此建议将字段类型修改为String。
在字段提取完成后,可对日志模板进行设置。结构化字段设置规则请参考设置结构化字段。
- 单击“保存”,完成日志结构化配置,初次设置完成后将不能对字段类型编辑修改。
Nginx
Nginx是通过log_format指令来自定义访问日志的格式。
- 选择示例日志:应选择一条比较典型的日志作为示例日志。在“步骤1 选择示例日志”中,可单击“从已有日志中选择”,在弹出框中根据业务需求选择待操作的日志,也可以直接在输入框中输入待操作的日志,单击“确定”。通过选择不同时间段筛选日志。
说明:
时间范围有三种方式,分别是相对时间、整点时间和自定义时间。您可以根据自己的实际需求,选择时间范围。
- 相对时间:表示查询距离当前时间1分钟、5分钟、15分钟等时间区间的日志数据。例如当前时间为19:20:31,设置相对时间1小时,表示查询18:20:31~19:20:31的日志数据。
- 整点时间:表示查询最近整点1分钟、15分钟等时间区间的日志数据。例如当前时间为19:20:31,设置整点时间1小时,表示查询18:00:00~19:00:00的日志数据。
- 自定义时间:表示查询指定时间范围的日志数据
- 在“步骤2 输入Nginx日志配置”中需要输入Nginx日志配置,根据输入或选择的日志进行配置。其中有默认配置可使用,单击“默认Nginx配置”即可。
说明:
标准Nginx配置文件中,日志配置的部分通常以log_format开头。
日志格式
- 默认配置如下所示。
log_format main '$remote_addr - $remote_user [$time_local] "$request" ' '$status $body_bytes_sent "$http_referer" ' '"$http_user_agent" "$http_x_forwarded_for"';
- 用户也可进行自定义配置,具体配置格式要求如下所示。
- 使用Nginx配置,不可为空
- 以log_format开头,并且包含(')和字段名称
- 长度最大限制为5000
- 需要与示例日志内容匹配
- log_format字段之间的间隔,除大小字母、数字、下划线及中划线外,可使用其他任意字符
- 以(')或者(';)结尾
- 默认配置如下所示。
- 字段提取。可将输入或选择的日志自动提取为以一个示例字段对应一个字段名称的格式的日志解析结果。
在“步骤3 字段提取”下单击“智能提取”。以如下原始日志为例进行分析:
将以下原始日志输入待操作框中。
39.149.31.187 - - [12/Mar/2020:12:24:02 +0800] "GET / HTTP/1.1" 304 0 "-" "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/80.0.3987.132 Safari/537.36" "-"
并使用如下Nginx日志配置。
log_format main '$remote_addr - $remote_user [$time_local] "$request" ' '$status $body_bytes_sent "$http_referer" ' '"$http_user_agent" "$http_x_forwarded_for"';
通过智能提取结果如下图。
说明:
- 当日志提取字段的类型为float时,精确度为7位有效数字。
- 如果超过7位有效数字的话,则会导致提取字段内容不准确,从而影响可视化查看和快速分析,因此建议将字段类型修改为String。
在字段提取完成后,可对日志模板进行设置。结构化字段设置规则请参考设置结构化字段。
- 单击“保存”,完成日志结构化配置,初次设置完成后将不能对字段类型编辑修改。