# 通过AOM告警分组规则清除ELB告警风暴 本文档介绍如何为告警规则配置告警降噪功能，在发送告警通知前按告警降噪规则对告警进行处理，处理完成后再发送通知，避免产生告警风暴。 #### 应用场景 某电商运维人员在定位分析应用、资源及业务的实时运行状况时，发现系统上报的告警数量过大，重复性告警过多，无法及时从众多告警中及时发现故障，全面掌握应用情况。 #### 解决方案 下面以监控ELB业务层全量指标为例说明，如何使用分组规则清除告警风暴。 1. [创建分组规则]：使用分组规则功能，从告警中筛选出满足条件的告警子集，然后按分组条件对告警子集分组，告警触发时同组告警会被汇聚在一起发送一条通知。 2. [创建交互模式告警规则]：通过设置告警规则并关联分组规则，实时监控环境中主机、组件等资源使用情况。 #### 前提条件 已创建[告警通知规则](https://support.huaweicloud.com/usermanual-aom2/mon_01_0015.html)。 #### 步骤一：创建分组规则 创建一个分组规则，当产生AOM的紧急、重要告警时，触发"apm"通知规则，且告警按照告警源合并分组。 1. 登录[AOM 2.0控制台](https://console.huaweicloud.com/aom2#/aom2/betaTest)。 2. 在左侧导航栏中选择"告警中心 \> 告警降噪"。 3. 在"告警分组"页签下单击"创建分组规则"，设置规则名称、企业项目，以及对分组规则进行编排。 图1创建分组规则 ![](https://support.huaweicloud.com/bestpractice-aom2/zh-cn_image_0000002549855851.png "点击放大") 表1分组规则参数说明 | 参数 | 说明 | 示例 | |:---|:---|:---| | 规则名称 | 分组规则的名称。 只能由大小写字母、数字、下划线组成，且不能以下划线开头和结尾，最多不能超过100个字符。 | rule | | 企业项目 | 所属的企业项目。 - 如果在全局页面设置为"ALL"，此处请从下拉列表中选择企业项目。 - 如果在全局页面已选择企业项目，则此处灰化不可选。 | default | | 描述 | 分组规则的描述。最多不能超过1024个字符。本示例可不填写。 | - | | 分组条件 | 根据设置的条件对告警过滤，筛选出符合分组条件的告警，并为符合分组条件的告警设置告警通知规则。 - 告警级别：指标或事件告警的级别，可以设置为：紧急、重要、次要、提示。 - 告警源：触发告警或事件的服务名称。可以设置为AOM、LTS、CCE等服务名称。 | - 告警级别+等于+紧急、重要 - 告警源+等于+AOM | | 通知规则 | 告警通知规则关联SMN主题与消息模板，当日志、资源或指标数据满足对应的告警条件时，系统根据关联SMN主题与消息模板来发送告警通知。 | apm | | 通知合并方式 | 根据指定字段对分组后的告警合并 。合并在一组的告警会被汇聚在一起发送一条通知。此处选择"按告警源 + 严重度"合并。 按告警源 + 严重度：由相同告警源触发的告警，且其严重度相同时，合并为一组发送告警通知。 | 按告警源 + 严重度 | | 首次等待 | 首次创建告警合并集合后，等待多久发送第一次告警通知。通常设置为秒级别的时间，便于告警合并后再发送，避免告警风暴。 | 15秒 | | 变化等待 | 合并集合内的告警数据发生变化后，等待多久发送告警通知。此处的变化是指新增告警或告警状态改变。 | 60秒 | | 重复等待 | 合并集合内的告警数据重复后，等待多久发送告警通知。此处的重复是指无新增告警和状态变化，仅其他属性（例如标题、内容等）改变。 | 1小时 | 4. 单击"确定"，分组规则创建成功，分则规则列表即可看到新增的分组规则信息。 #### 步骤二：创建交互模式告警规则 通过指标告警规则可对资源的指标设置阈值条件。当指标数据满足阈值条件时产生阈值告警，当没有指标数据上报时产生数据不足事件。 下面的操作以**按交互模式创建**为例说明，创建一个监控ELB业务层的告警规则。 1. 在左侧导航栏中选择"告警中心 \> 告警规则"。 2. 在"Prometheus 监控"页签下单击"创建告警规则"。 3. 设置告警规则基本信息，具体的参数说明如[表2]所示。 表2基本信息填写说明 | 参数名称 | 说明 | 示例 | |:---|:---|:---| | 规则原始名称 | 告警规则的原始名称。 最多可输入256个字符，只能包含中文、字母、数字、下划线和中划线，开头、结尾不允许输入特殊字符。 | monitor | | 规则名称 | 规则的名称。最多可输入256个字符，只能包含中文、字母、数字、特殊字符（_-【】），开头、结尾不允许输入中划线、下划线。本示例可不填写。 说明： - 设置规则名称后，告警规则优先展示规则名称。 - 告警创建完成后，支持修改规则名称，不支持修改规则原始名称。规则名称修改完成后，鼠标悬浮在规则名称上，显示规则原始名称和修改后的规则名称。 | - | | 企业项目 | 选择业务需要的企业项目，默认为default。 | default | | 描述 | 规则的描述信息，最多可输入1024个字符。本示例可不填写。 | - | 4. 设置告警规则的详细信息。 1. 选择"规则类型"为"指标告警规则"，"配置方式"为"交互模式"。 2. "Prometheus实例"默认选择"Prometheus_AOM_Default"。 3. 设置告警规则详情。具体的参数说明如[表3]所示。 设置完成后，监控的指标数据以折线图形式显示在告警条件上方。单击"新增指标"可多次添加监控指标，并为指标设置统计周期和检测规则等信息。 表3告警规则详情填写说明 | 参数名称 | 参数说明 | 示例 | |:---|:---|:---| | 多指标 | 按设置的多个指标数据和对应告警条件逐条计算，只要满足一个条件则触发告警。 | 多指标 | | 指标 | 需要监控的指标。单击"指标"文本框，通过下拉框右侧的资源树，可以按资源类型快速选择需监控的指标。 | aom_process_cpu_usage | | 统计周期 | 指标数据按照所设置的统计周期进行聚合。 | 1分钟 | | 条件 | 指标监控的维度。不设置则表示选中全部资源。本示例可不填写。 | - | | 分组条件 | 指标数据按指定字段分组聚合，对聚合的结果进行运算。 | 不分组 | | 检测规则 | 指标告警的检测规则，由统计方式（平均值、最小值、最大值、总计、样本个数）、判断条件（≥、≤、\>、\<）和阈值组成。 | "平均值 ＜ 1" | | 触发条件 | 连续多少个周期满足阈值条件后，触发指标告警。 | 3 | | 告警级别 | 指标告警的级别。 | ![](https://support.huaweicloud.com/bestpractice-aom2/zh-cn_image_0000002122373704.png) | 4. 在"高级设置"下设置检查频率、告警恢复等信息，具体参数说明请参见[表4]。 表4"高级设置"填写说明 | 参数名称 | 参数说明 | 示例 | |:---|:---|:---| | 检查频率 | 根据设置的频率对指标数据查询和分析结果进行检查。 | 固定间隔 1分钟 | | 告警恢复 | 连续多少个周期不满足告警条件，恢复告警。 | 1 | | 无数据处理 | 监控周期内无指标数据产生或指标数据不足时系统的处理方式，根据业务需要开启或者关闭。 | 开启：连续周期"1"达到数据不足，状态设置"数据不足并发送告警" | | 告警规则标签 | 单击![](https://support.huaweicloud.com/bestpractice-aom2/zh-cn_image_0000002245678684.png)为告警规则添加标签，标签将同步到TMS服务，该标签可以用于搜索过滤、告警降噪分组条件，也可以在消息模板中以$event.metadata.标签名被引用。本示例可不填写。 | - | | 告警规则标注 | 单击![](https://support.huaweicloud.com/bestpractice-aom2/zh-cn_image_0000002245678868.png)为告警规则添加键值对属性，标注不会同步给TMS标签服务，但是可以用于告警降噪分组条件，也可以在消息模板中以$event.metadata.标注名被引用。本示例可不填写。 | - | 5. 设置告警通知策略。具体参数说明请参见[表5]。 图2设置告警降噪方式 ![](https://support.huaweicloud.com/bestpractice-aom2/zh-cn_image_0000002122531890.png "点击放大") 表5告警通知策略填写说明 | 参数名称 | 参数说明 | 示例 | |:---|:---|:---| | 通知场景 | 设置发送告警通知的场景。系统默认选择"告警触发时"和"告警恢复时"。 - 告警触发时：满足告警触发条件，则以邮件、短信等方式发送告警通知给指定人员。 - 告警恢复时：满足告警恢复条件，则以邮件、短信等方式发送告警通知给指定人员。 | "告警触发时"和"告警恢复时" | | 告警方式 | 告警的方式，此处选择"告警降噪"。 告警降噪：对告警信息自动匹配告警降噪分组规则后再发送告警，防止产生告警风暴。 | 告警降噪 | | 分组规则 | 从告警中筛选出满足条件的告警子集，然后按分组条件对告警子集分组，告警触发时同组告警会被汇聚在一起发送一条通知。 | rule | 6. 单击"立即创建"，完成创建。创建完成后，单击"查看告警规则"可查看已创建的告警规则。 只要指标数据满足设置的告警条件时，就会生成一条指标类告警，您可在左侧导航栏中选择"告警中心 \> 告警列表"，在告警列表中查看告警。产生的告警是AOM的紧急、重要告警会被汇聚在一起，按照[步骤一：创建分组规则]中所设置的条件发送告警通知。