通过AOM告警分组规则清除ELB告警风暴

应用场景

某电商运维人员在定位分析应用、资源及业务的实时运行状况时，发现系统上报的告警数量过大，重复性告警过多，无法及时从众多告警中及时发现故障，全面掌握应用情况。

解决方案

下面以监控ELB业务层全量指标为例说明，如何使用分组规则清除告警风暴。

1. 创建分组规则：使用分组规则功能，从告警中筛选出满足条件的告警子集，然后按分组条件对告警子集分组，告警触发时同组告警会被汇聚在一起发送一条通知。
2. 创建全量指标告警规则：通过设置告警规则并关联分组规则，实时监控环境中主机、组件等资源使用情况。

前提条件

已创建告警通知规则。

步骤一：创建分组规则

创建一个分组规则，当产生AOM的紧急、重要告警时，触发“apm”通知规则，且告警按照告警源合并分组。

1. 登录AOM 2.0控制台。
2. 在左侧导航栏中选择“告警中心 > 告警降噪”。
3. 在“分组规则”页签下单击 “创建分组规则”，设置规则名称、分组条件等信息。
   图1 创建分组规则
   

   表1 分组规则参数说明

   参数	说明	示例
   规则名称	分组规则的名称。 只能由大小写字母、数字、下划线组成，且不能以下划线开头和结尾，最多不能超过100个字符。	rule
   企业项目	所属的企业项目。 如果在全局页面设置为“ALL”，此处请从下拉列表中选择企业项目。 如果在全局页面已选择企业项目，则此处灰化不可选。	default
   描述	分组规则的描述。最多不能超过1024个字符。本示例可不填写。	-
   分组条件	根据设置的条件对告警过滤，筛选出符合分组条件的告警，并为符合分组条件的告警设置告警通知规则。 告警级别：指标或事件告警的级别，可以设置为：紧急、重要、次要、提示。 告警源：触发告警或事件的服务名称。可以设置为AOM 、LTS、CCE等服务名称。	告警级别+等于+紧急、重要 告警源+等于+AOM
   通知规则	告警通知规则关联SMN主题与消息模板，当日志、资源或指标数据满足对应的告警条件时，系统根据关联SMN主题与消息模板来发送告警通知。	apm
   通知合并规则	根据指定字段对分组后的告警合并 。合并在一组的告警会被汇聚在一起发送一条通知。此处选择“按告警源 + 严重度”合并。 按告警源 + 严重度：由相同告警源触发的告警，且其严重度相同时，合并为一组发送告警通知。	按告警源 + 严重度
   首次等待	首次创建告警合并集合后，等待多久发送第一次告警通知。通常设置为秒级别的时间，便于告警合并后再发送，避免告警风暴。	15秒
   变化等待	合并集合内的告警数据发生变化后，等待多久发送告警通知。此处的变化是指新增告警或告警状态改变。	60秒
   重复等待	合并集合内的告警数据重复后，等待多久发送告警通知。此处的重复是指无新增告警和状态变化，仅其他属性（例如标题、内容等）改变。	1小时

4. 单击“立即创建”。

步骤二：创建全量指标告警规则

通过指标告警规则可对资源的指标设置阈值条件。当指标数据满足阈值条件时产生阈值告警，当没有指标数据上报时产生数据不足事件。

下面的操作以按全量指标创建为例说明，创建一个监控ELB业务层全量指标的告警规则。

1. 在左侧导航栏中选择“告警中心 > 告警规则”。
2. 在“Prometheus监控”页签下单击“创建告警规则”。
3. 设置告警规则基本信息，具体的参数说明如表2所示。

   表2 基本信息填写说明

   参数名称	说明	示例
   规则原始名称	告警规则的原始名称。 最多可输入256个字符，只能包含中文、字母、数字、下划线和中划线，开头、结尾不允许输入特殊字符。	monitor
   规则名称	规则的名称。最多可输入256个字符，只能包含中文、字母、数字、特殊字符（_-【】），开头、结尾不允许输入中划线、下划线。本示例可不填写。 说明： 设置规则名称后，告警规则优先展示规则名称。 告警创建完成后，支持修改规则名称，不支持修改规则原始名称。规则名称修改完成后，鼠标悬浮在规则名称上，显示规则原始名称和修改后的规则名称。	-
   企业项目	选择业务需要的企业项目，默认为default。	default
   描述	规则的描述信息，最多可输入1024个字符。本示例可不填写。	-

4. 设置告警规则的详细信息。
   1. 选择“规则类型”为“指标告警规则”，“配置方式”为“按全量指标”。
   2. “Prometheus实例”默认选择“Prometheus_AOM_Default”。
   3. 设置告警规则详情。具体的参数说明如表3所示。
      设置完成后，监控的指标数据以折线图形式显示在告警条件上方。单击“新增指标”可多次添加监控指标，并为指标设置统计周期和检测规则等信息。

      表3 告警规则详情填写说明

      参数名称	参数说明	示例
      多指标	按设置的多个指标数据和对应告警条件逐条计算，只要满足一个条件则触发告警。	多指标
      指标	需要监控的指标。单击“指标”文本框，通过下拉框右侧的资源树，可以按资源类型快速选择需监控的指标。	aom_process_cpu_usage
      统计周期	指标数据按照所设置的统计周期进行聚合。	1分钟
      条件	指标监控的维度。不设置则表示选中全部资源。本示例可不填写。	-
      分组条件	指标数据按指定字段分组聚合，对聚合的结果进行运算。	不分组
      检测规则	指标告警的检测规则，由统计方式（平均值、最小值、最大值、总计、样本个数）、判断条件（≥、≤、>、<）和阈值组成。	“平均值 ＜ 1”
      触发条件	连续多少个周期满足阈值条件后，触发指标告警。	3
      告警级别	指标告警的级别。

   4. 在“高级设置”下设置检查频率、告警恢复等信息，具体参数说明请参见表4。

      表4 “高级设置”填写说明

      参数名称	参数说明	示例
      检查频率	根据设置的频率对指标数据查询和分析结果进行检查。	固定间隔 1分钟
      告警恢复	连续多少个周期不满足告警条件，恢复告警。	1
      无数据处理	监控周期内无指标数据产生或指标数据不足时系统的处理方式，根据业务需要开启或者关闭。	开启：连续周期“1”达到数据不足，状态设置“数据不足并发送告警”
      告警规则标签	单击为告警规则添加标签，标签将同步到TMS服务，该标签可以用于搜索过滤、告警降噪分组条件，也可以在消息模板中以$event.metadata.标签名被引用。本示例可不填写。	-
      告警规则标注	单击为告警规则添加键值对属性，标注不会同步给TMS标签服务，但是可以用于告警降噪分组条件，也可以在消息模板中以$event.metadata.标注名被引用。本示例可不填写。	-

5. 设置告警通知策略。具体参数说明请参见表5。
   图2 设置告警降噪方式
   

   表5 告警通知策略填写说明

   参数名称	参数说明	示例
   通知场景	设置发送告警通知的场景。系统默认选择“告警触发时”和“告警恢复时”。 告警触发时：满足告警触发条件，则以邮件、短信等方式发送告警通知给指定人员。 告警恢复时：满足告警恢复条件，则以邮件、短信等方式发送告警通知给指定人员。	“告警触发时”和“告警恢复时”
   告警方式	告警的方式，此处选择“告警降噪”。 告警降噪：对告警信息自动匹配告警降噪分组规则后再发送告警，防止产生告警风暴。	告警降噪
   分组规则	从告警中筛选出满足条件的告警子集，然后按分组条件对告警子集分组，告警触发时同组告警会被汇聚在一起发送一条通知。	rule

6. 单击“立即创建”，完成创建。创建完成后，单击“查看告警规则”可查看已创建的告警规则。

   只要指标数据满足设置的告警条件时，就会生成一条指标类告警，您可在左侧导航栏中选择“告警中心 > 告警列表”，在告警列表中查看告警。产生的告警是AOM的紧急、重要告警会被汇聚在一起，按照步骤一：创建分组规则中所设置的条件发送告警通知。