通过告警降噪清除告警风暴

实践场景

某电商运维人员在定位分析应用、资源及业务的实时运行状况时，发现系统上报的告警数量过大，重复性告警过多，需要从众多告警中快速及时发现故障，全面掌握应用。

解决方案

AOM通过设置告警规则，实时监控环境中主机、组件等资源使用情况。当产品自身或外部服务存在异常情况时，立即触发告警。并提供告警降噪功能，支持发送告警通知前按告警降噪规则对告警进行处理，处理完成后再发送通知，帮助用户快速识别重点问题，避免产生告警风暴。

告警降噪功能分为分组、去重、抑制、静默四部分：

• 使用分组规则，您可以从告警中筛选出满足条件的告警子集，然后按分组条件对告警子集分组，告警触发时同组告警会被汇聚在一起发送一条通知。
• 使用抑制规则，您可以抑制或阻止与某些特定告警相关的其他告警通知。例如：当严重级别的告警产生时，可以抑制与其相关的低级别的告警。或当节点故障发生时，抑制节点上的进程或者容器的所有其他告警。
• 使用静默规则，您可以在指定时间段屏蔽告警通知，静默规则一旦创建完成，即刻生效。
• 去重为内置策略，服务后台会自动检验告警内容是否一致实现去重的效果，用户无需手动创建规则。

下面以监控ELB业务层全量指标为例说明。

前提条件

已创建告警行动规则。

步骤一：创建分组规则

创建一个分组规则，当产生AOM的紧急、重要告警时，触发“Monitor_host”行动规则，且告警按照告警源合并分组。

1. 登录AOM 2.0控制台。
2. 在左侧导航栏中选择“告警管理 > 告警降噪”。
3. 在“分组规则”页签下单击 “创建分组规则”，设置规则名称、分组条件等信息。
   图1 创建分组规则
   

   表1 告警合并规则说明

   通知合并方式	根据指定字段对分组后的告警合并 。合并在一组的告警会被汇聚在一起发送一条通知。 合并方式包括： 按告警源：由相同告警源触发的告警，合并为一组发送告警通知。 按告警源 + 严重度：由相同告警源触发的告警，且其严重度相同时，合并为一组发送告警通知。 按告警源 + 所有标签：由相同告警源触发的告警，且其标签相同时，合并为一组发送告警通知。
   首次等待	首次创建告警合并集合后，等待多久发送第一次告警通知。通常设置为秒级别的时间，便于告警合并后再发送，避免告警风暴。 取值范围：0s-10min，推荐设置为 15s。
   变化等待	合并集合内的告警数据发生变化后，等待多久发送告警通知。通常设置为分钟级别的时间。如果您需要尽快收到告警通知，也可设置为秒级时间。 此处的变化是指新增告警或告警状态改变。 取值范围：5s-30min，推荐设置为60s。
   重复等待	合并集合内的告警数据重复后，等待多久发送告警通知。通常设置为小时级别的时间。 此处的重复是指无新增告警和状态变化，仅其他属性（例如标题、内容等）改变。 取值范围：0min-15day，推荐设置为1h。

步骤二：创建全量指标告警规则

通过指标告警规则可对资源的指标设置阈值条件。当指标数据满足阈值条件时产生阈值告警，当没有指标数据上报时产生数据不足事件。

按照配置方式的不同，创建指标告警规则可分为三种：按资源类型创建、按全量指标创建和按Prometheus命令创建。下面的操作以按全量指标创建为例说明，创建一个监控ELB业务层全量指标的告警规则。

1. 登录AOM 2.0控制台。
2. 在左侧导航栏中选择“告警管理 > 告警规则”。
3. 在“指标或事件告警规则”页签下单击 “创建告警规则”。
4. 设置告警规则的规则名称等基本信息。
5. 设置告警规则的详细信息。
   1. 选择“规则类型”为“指标告警规则”，“配置方式”为“按全量指标”。
   2. 设置指标、环境、检查频率等告警条件参数。
      图2 设置告警规则详细信息
      
   3. 根据需要设置告警标签和告警标注信息，为告警匹配分组，后续可关联告警降噪策略来发送告警通知。5.b选择的是业务层指标，所以此处标签设置为“aom_monitor_level:business”。
      图3 自定义标签信息
      
      

      全量指标的标签为key:value键值对格式，key通常设置为“aom_monitor_level”，value的设置说明如下：

      • 全量指标为基础设施层指标：infrastructure
      • 全量指标为中间件指标：middleware
      • 全量指标为应用层指标：application
      • 全量指标为业务层指标：business

6. 设置告警通知策略。告警通知策略有两种方式，此处选择告警降噪方式。
   告警降噪：对告警信息自动匹配告警降噪分组规则后再发送告警，防止产生告警风暴。

   图4 设置告警降噪方式
   

7. 单击“立即创建”，完成创建。创建完成后，单击“返回告警规则列表”可查看已创建的告警规则。

   如下图所示，创建了一条指标告警规则，单击规则名称前的，可查看该告警规则的详细信息。

   图5 创建指标告警规则
   

   在展开的列表中，只要指标数据满足设置的告警条件时，在告警界面就会生成一条指标类告警，您可在左侧导航栏中选择“告警管理 > 告警列表”，在告警列表中查看该告警。

   只要该告警满足已设的通知策略，系统就会以邮件、短信或企业微信等方式发送告警通知给指定人员。

   图6 接收告警通知