设置日志云端结构化解析

使用限制

• 若未配置索引配置，结构化字段默认分词符为空，最大长度限制为20KB，超过部分会被截断。
• 若已配置索引配置，结构化字段默认分词符参考设置LTS日志内容分词，此时最大长度限制为500KB。

云端结构化解析

1. 登录云日志服务控制台，进入“日志管理”页面。
2. 单击目标日志组和日志流名称。
3. 在日志流详情页面，单击右上角，在弹出页面中，选择“云端结构化解析”，进行日志结构化配置。
   说明：

   • 开启“保留原始日志”后，原始日志将作为content字段的值存储到云日志服务。同时在资源统计和计费时content字段均会统计在内。
   • 开启“上传解析失败日志”后，原始日志将作为_content_parse_fail_字段的值上传到云日志服务。
   • 正则分析：使用正则表达式提取字段。
   • JSON：通过提取JSON字段将其拆分为键值对。
   • 分隔符：使用分隔符（例如：冒号、空格或字符等）提取字段。
   • Nginx：通过log_format指令来自定义访问日志的格式。
   • 结构化模板：通过自定义模板或系统内置模板提取字段。

4. 云端结构化解析配置完成后，支持修改或删除结构化配置。
   • 在云端结构化解析页面中，单击，修改结构化配置。
   • 在云端结构化解析页面中，单击，删除结构化配置。
     说明：

     结构化配置删除后，将无法恢复，请谨慎操作。

正则分析

正则分析是使用正则表达式提取字段。

1. 选择示例日志：应选择一条比较典型的日志作为示例日志。
   • 从已有日志中选择：单击“从已有日志中选择”，在弹出框中根据业务需求选择待操作的日志，单击“确定”。通过选择不同时间段筛选日志。
   • 从剪切板中粘贴：单击“从剪切板中粘贴”，可直接自动将您剪切的日志内容复制到示例日志框中。
     说明：

     时间范围有三种方式，分别是相对时间、整点时间和自定义。您可以根据自己的实际需求，选择时间范围。

     • 相对时间：表示查询距离当前时间1分钟、5分钟、15分钟等时间区间的日志数据。例如当前时间为19:20:31，设置相对时间1小时，表示查询18:20:31~19:20:31的日志数据。
     • 整点时间：表示查询最近整点1分钟、15分钟等时间区间的日志数据。例如当前时间为19:20:31，设置整点时间1小时，表示查询18:00:00~19:00:00的日志数据。
     • 自定义：表示查询指定时间范围的日志数据。

2. 字段提取。包括自动生成和手动输入两种方式，可将选择的日志提取为以一个示例字段对应一个字段名称的格式的日志解析结果。
   • 自动生成：当用户选择自动生成时，可以用鼠标选中示例日志中待结构化的日志内容，在弹出的对话框中为选中内容设置一个名称，名称必须以字母开始，且仅包含字母和数字，单击“添加”。
   • 手动输入：当用户选择手动输入时，可以在输入框中输入正则表达式，单击“生成字段”来进行字段提取。正则表达式通过分组来捕获字段，分组指用圆括号"()"括起来的正则表达式，匹配出的内容就表示一个分组，分组包含如下三种形式：
     • (exp)：把括号内的正则作为一个分组，系统自动分配组号，规则为从正则表达式的左边开始，第一个左括号”(”对应第一个分组，第二个”(”对应第二个分组，依次类推，组号从1开始，从左向右，依次累加。
     • (?<name>exp)：表示命名分组，分组的正则表达式为exp，分组名为name。分组名必须以字母开始，且仅包含字母和数字，可以通过分组名或分组号引用该分组。
     • (?:exp)：表示不捕获分组，该分组只在当前位置匹配文本，在该分组之后，无法引用该分组，因为该分组没有分组名，没有分组号，也不会占用分组编号。
   说明：

   • 分词符指将日志内容切分为多个单词的符号，默认分词符包括, '";=()[]{}@&<>/:\\?\n\t\r，在日志搜索或者对日志进行结构化时，可以选取相邻两分词符之间的单词。
   • 在手工输入方式中，正则表达式的长度不能超过5000个字符，不强制要求用户在输入正则表达式时对分组进行命名，单击“生成字段”会以命名分组中的分组名作为字段名称，对于非命名分组会提取出对应的字段，并给字段名称默认命名field1、field2、field3……。

3. 若需要指定某一字段作为日志时间，详细请参考自定义日志时间。
4. 单击“保存”，完成日志结构化配置，初次设置完成后将不能对字段类型编辑修改。

JSON

JSON是通过提取JSON字段将其拆分为键值对。

1. 选择示例日志：应选择一条比较典型的日志作为示例日志。在“步骤1 选择示例日志”中，可单击“从已有日志中选择”，在弹出框中根据业务需求选择待操作的日志，也可以直接在输入框中输入待操作的日志，单击“确定”。通过选择不同时间段筛选日志。
   说明：

   时间范围有三种方式，分别是相对时间、整点时间和自定义。您可以根据自己的实际需求，选择时间范围。

   • 相对时间：表示查询距离当前时间1分钟、5分钟、15分钟等时间区间的日志数据。例如当前时间为19:20:31，设置相对时间1小时，表示查询18:20:31~19:20:31的日志数据。
   • 整点时间：表示查询最近整点1分钟、15分钟等时间区间的日志数据。例如当前时间为19:20:31，设置整点时间1小时，表示查询18:00:00~19:00:00的日志数据。
   • 自定义：表示查询指定时间范围的日志数据

2. 字段提取。可将输入或选择的日志自动提取为以一个示例字段对应一个字段名称的格式的日志解析结果。

   在“步骤2 字段提取”下单击“智能提取”。以如下原始日志为例进行分析：

   将以下原始日志输入待操作框中。

   {"a1": "a1", "b1": "b1", "c1": "c1", "d1": "d1"}
   说明：

   • 当日志提取字段的类型为float时，精度为16位有效数字。如果超过16位有效数字，则会导致提取字段内容不准确，从而影响可视化查看和快速分析，因此建议将字段类型修改为String。
   • 当日志提取字段的类型为long时，日志内容超过16位有效数字，只会精确显示前16位有效数字，后面的数字会变为0。
   • 当日志提取字段的类型为long时，日志内容超过21位有效数字，则会识别为float类型，建议将字段类型修改为String。

   在字段提取完成后，可对日志模板进行设置。结构化字段设置规则请参考设置结构化字段。

3. 若需要指定某一字段作为日志时间，详细请参考自定义日志时间。
4. 单击“保存”，完成日志结构化配置，初次设置完成后将不能对字段类型编辑修改。

分隔符

分隔符是使用分隔符（例如：逗号、空格或字符）提取字段。

1. 选择示例日志：应选择一条比较典型的日志作为示例日志。在“步骤1 选择示例日志”中，可单击“从已有日志中选择”，在弹出框中根据业务需求选择待操作的日志，也可以直接在输入框中输入待操作的日志，单击“确定”。通过选择不同时间段筛选日志。
   说明：

   时间范围有三种方式，分别是相对时间、整点时间和自定义。您可以根据自己的实际需求，选择时间范围。

   • 相对时间：表示查询距离当前时间1分钟、5分钟、15分钟等时间区间的日志数据。例如当前时间为19:20:31，设置相对时间1小时，表示查询18:20:31~19:20:31的日志数据。
   • 整点时间：表示查询最近整点1分钟、15分钟等时间区间的日志数据。例如当前时间为19:20:31，设置整点时间1小时，表示查询18:00:00~19:00:00的日志数据。
   • 自定义：表示查询指定时间范围的日志数据

2. 在“步骤2 指定分隔符”需要根据原始日志内容选择分隔符，或自定义其他需要的特殊字符作为分隔符。
   说明：

   • 不可见字符需要输入0x开头的16进制字符，长度为0-4个字符，总共32个不可见字符。
   • 自定义字符支持输入1-10个字符，每个字符都作为独立的分隔符。
   • 自定义字符串支持输入1-30个字符，字符串整体作为一个分隔符。

3. 字段提取。可将输入或选择的日志自动提取为以一个示例字段对应一个字段名称的格式的日志解析结果。

   在“步骤3字段提取”下单击“智能提取”。以如下原始日志为例进行分析：

   将以下原始日志输入待操作框中。

   1 5f67944957444bd6bb4fe3b367de8f3d 1d515d18-1b36-47dc-a983-bd6512aed4bd 192.168.0.154 192.168.3.25 38929 53 17 1 96 1548752136 1548752736 ACCEPT OK
   说明：

   当日志提取字段的类型为float时，精确度为7位有效数字。

   如果超过7位有效数字的话，则会导致提取字段内容不准确，从而影响可视化查看和快速分析，因此建议将字段类型修改为String。

   在字段提取完成后，可对日志模板进行设置。结构化字段设置规则请参考设置结构化字段。

4. 若需要指定某一字段作为日志时间，详细请参考自定义日志时间。
5. 单击“保存”，完成日志结构化配置，初次设置完成后将不能对字段类型编辑修改。

Nginx

Nginx是通过log_format指令来自定义访问日志的格式。

1. 选择示例日志：应选择一条比较典型的日志作为示例日志。在“步骤1 选择示例日志”中，可单击“从已有日志中选择”，在弹出框中根据业务需求选择待操作的日志，也可以直接在输入框中输入待操作的日志，单击“确定”。通过选择不同时间段筛选日志。
   说明：

   时间范围有三种方式，分别是相对时间、整点时间和自定义。您可以根据自己的实际需求，选择时间范围。

   • 相对时间：表示查询距离当前时间1分钟、5分钟、15分钟等时间区间的日志数据。例如当前时间为19:20:31，设置相对时间1小时，表示查询18:20:31~19:20:31的日志数据。
   • 整点时间：表示查询最近整点1分钟、15分钟等时间区间的日志数据。例如当前时间为19:20:31，设置整点时间1小时，表示查询18:00:00~19:00:00的日志数据。
   • 自定义：表示查询指定时间范围的日志数据

2. 在“步骤2 输入Nginx日志配置”中需要输入Nginx日志配置，根据输入或选择的日志进行配置。其中有默认配置可使用，单击“默认Nginx配置”即可。
   说明：

   标准Nginx配置文件中，日志配置的部分通常以log_format开头。

   日志格式

   • 默认配置如下所示。

     log_format  main   '$remote_addr - $remote_user [$time_local] "$request" '
                                 '$status $body_bytes_sent "$http_referer" '
                                 '"$http_user_agent" "$http_x_forwarded_for"';
   • 用户也可进行自定义配置，具体配置格式要求如下所示。
     • 使用Nginx配置，不可为空
     • 以log_format开头，并且包含（'）和字段名称
     • 长度最大限制为5000
     • 需要与示例日志内容匹配
     • log_format字段之间的间隔，除大小字母、数字、下划线及中划线外，可使用其他任意字符
     • 以（'）或者（';）结尾

3. 字段提取。可将输入或选择的日志自动提取为以一个示例字段对应一个字段名称的格式的日志解析结果。

   在“步骤3 字段提取”下单击“智能提取”。以如下原始日志为例进行分析：

   将以下原始日志输入待操作框中。

   39.149.31.187 - - [12/Mar/2020:12:24:02 +0800] "GET / HTTP/1.1" 304 0 "-" "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/80.0.3987.132 Safari/537.36" "-"

   并使用如下Nginx日志配置。

   log_format  main   '$remote_addr - $remote_user [$time_local] "$request" '
                               '$status $body_bytes_sent "$http_referer" '
                               '"$http_user_agent" "$http_x_forwarded_for"';
   说明：

   • 当日志提取字段的类型为float时，精确度为7位有效数字。
   • 如果超过7位有效数字的话，则会导致提取字段内容不准确，从而影响可视化查看和快速分析，因此建议将字段类型修改为String。

   在字段提取完成后，可对日志模板进行设置。结构化字段设置规则请参考设置结构化字段。

4. 若需要指定某一字段作为日志时间，详细请参考自定义日志时间。
5. 单击“保存”，完成日志结构化配置，初次设置完成后将不能对字段类型编辑修改。

结构化模板

结构化模板是通过自定义模板或系统内置模板提取字段。

详情请参考结构化模板。