日志生成指标

背景信息

• 用户在LTS页面只需按照业务需要创建指标规则即可生成自己的统计报表，设置单个日志过滤条件或通过添加关联关系和添加组设置多个日志过滤条件，保留符合条件的日志，对用户特定时间范围内已结构化的日志进行动态统计，并将统计结果动态呈现到aom的Prometheus实例，操作简单且功能强大。
• 创建的每个指标规则只能生成一个结果，多个结果则需要创建多条指标规则。

前提条件

• 已在应用运维管理控制台创建Prometheus实例。
• 已将日志接入到LTS。
• 已配置结构化数据，当前仅支持已配置结构化的数据进行处理。
  

  日志生成指标要求日志时间的顺序偏差在较小范围内（5s统计频率允许偏差5s，1min统计频率允许偏差1min，5min统计频率允许偏差1min30s），建议优先使用ICAgent结构化方式上报日志，云端结构化方式会引起日志时间乱序严重从而导致无法在统计周期内处理日志，使得统计结果存在偏差。

限制条件

单个用户最多可创建10个日志指标规则，所有规则中添加的指标总数不能超过10。

创建日志指标规则

1. 登录云日志服务控制台。
2. 在左侧导航栏中选择“日志加工”。
3. 在“生成指标”页签，单击“创建规则”。
4. 配置日志的基本信息。
   1. 填写规则名称，最多256位，只能包含字母、数字、下划线、中划线。
   2. 填写描述信息。
   3. 启用状态默认打开。
   4. 默认勾选委托授权，创建日志生成指标任务，需要您授权LTS和AOM创建云服务委托：lts_admin_trust、aom_admin_trust
   5. 任务监控，开启后会将每次任务执行状态写入日志流lts-system/lts-logtometric-statistics，您可以查看日志生成指标任务监控中心或者配置告警规则，及时发现加工过程中可能出现的异常问题。

5. 配置数据源。
   1. 选择源日志组，若没有，则单击创建日志组。
      

      • 超出存储时间的日志将会被自动删除，您可以按需将日志数据转储至OBS桶中长期存储。
      • 如果您的日志尚未接入LTS，请参考日志接入，创建日志接入规则，并配置结构化解析规则。
   2. 选择日志流，若没有，则单击创建日志流。
   3. 日志采样，开启后会对日志源进行随机采样，采样率支持设置为0.1～0.9。

6. 配置指标存储位置。
   1. 日志生成的指标会被存储到AOM中为自定义指标，请选择要存储的Prometheus实例。若没有，则单击创建实例。
   2. 自定义日志生成指标的名称。只支持输入英文、数字、下划线、冒号，且不能以数字、下划线、冒号开头。
   3. 填写指标含义。

7. 单击“下一步”。
8. 在“指标预览”下方预览信息。该预览信息是基于用户配置的日志过滤和统计规则，对日志流执行SQL查询模拟生成的指标结果，依赖用户先将日志采集到LTS，并配置好结构化解析规则和索引配置 ，否则此处预览结果展示为空。
9. 配置日志的统计方式。
   1. 日志过滤的规则，设置完成后，支持预览效果。如果您无法在日志过滤和日志统计处选择到想要的日志字段，请您先在采集配置中配置好，详细操作请参考云端结构化解析。
      

      • 支持“或”“且”两种方式交互式过滤日志。
      • 不同字段支持的过滤规则不同。
      • 日志过滤和日志统计字段的类型仅支持string、float、long，不支持json。
      • 日志过滤是保留符合条件的日志，不符合条件的日志将被丢弃。
      • group by分组字段只支持字符串和整数类型。
   2. 设置日志统计的字段，选择统计类型、支持选择或者自定义输入被统计的字段和分组字段。数据迟到1分钟，将不参与统计。
      

      • 支持以下统计类型：

        Count: 统计日志条数，CountKeyword: 统计关键词出现的次数， Sum: 统计指定字段求和值，Avg: 统计指定字段平均值，Max: 统计指定字段最大值，Min: 统计指定字段最小值，P50: 统计指定字段50%的值，P75: 统计指定字段75%的值，P90: 统计指定字段90%的值，P95: 统计指定字段95%的值，P99: 统计指定字段99%的值。

      • P系列统计类型是将数字排序后取xx%位置的值作为统计结果。

      • 日志统计是针对符合条件的日志进行操作，执行过程中会在日志组system生成一个日志流，如果删除该日志流将导致所有日志生成指标的规则执行详情无法查看。
   3. 选择频率，支持5秒钟、1分钟、5分钟。频率不仅代表上报数据间隔，也代表统计操作的时间窗口，例如：频率5分钟具体含义为到达5分钟间隔后，取当前时间前5分钟数据进行统计操作并上报。
   4. 设置完成后，根据查询中选择的内容自动生成维度。
   5. 选择单位，例如选择角度、带宽、频率等数据的单位。

10. （可选）单击“实时日志预览”查看实时日志。
11. 单击“确定”。
12. 创建成功后，在生成指标页签下方，新增一条规则记录。
    

    • 指标可视化和告警：创建成功后，您可以前往应用运维管理AOM控制台的仪表盘配置指标可视化图表，或者前往AOM告警规则配置指标告警。
    • 建议每个日志流配置规则数量<= 5个。
    • 在对应规则的操作列，支持复制、修改、删除规则。