- 最新动态
- 功能总览
- 产品介绍
- 计费说明
- 快速入门
-
用户指南
- 通过IAM授予使用AOM的权限
- 接入AOM
- 接入AOM(新版)
- 可观测指标浏览
- 仪表盘监控
- 告警监控
- 日志管理(新版)
- 日志管理(旧版)
-
Prometheus监控
- Prometheus监控概述
- 管理Prometheus实例
- 管理Prometheus实例指标数据
- 使用Prometheus监控CCE集群指标
- 配置多账号聚合实现指标统一监控
- 配置CCE集群监控采集指标规则
- 配置预聚合规则提升指标查询效率
- 配置数据多写实现监控指标转储到自建Prometheus
- 配置指标存储时长
- 通过仪表盘监控Prometheus实例指标数据
- 配置Remote Read地址实现自建Prometheus读取AOM的Prometheus数据
- 配置Remote Write地址实现自建Prometheus数据上报到AOM
- 通过Grafana查看Prometheus实例数据
- 查看Prometheus实例指标上报量
- 基础设施监控
- 云服务监控
- 应用监控
- 智能洞察(BETA)
- Web监控
- App监控
- 应用洞察
- 运维管理
- 全局设置
- 查看AOM审计事件
- 迁移AOM 1.0数据至AOM 2.0
- 最佳实践
-
常见问题
- 仪表盘
- 告警管理
- 日志分析
- Prometheus监控
- 基础设施监控
- 应用监控
-
采集管理
- ICAgent和UniAgent是同一个插件吗?
- 如何处理界面“ICAgent状态”为“离线”的问题?
- 在主机上手工安装ICAgent后提示安装成功,但UniAgent安装与配置界面显示状态异常?
- ICAgent安装成功后,无法在界面上获取到ICAgent状态
- ICAgent安装成功后,AOM中无法监控到CPU内存使用率等信息
- 如何获取AK/SK?
- UniAgent和ICAgent安装类常见问题
- 如何在VPCEP控制台为AOM/LTS创建终端节点?
- 如何启用NGINX stub_status模块?
- APM指标数据未采集上来,可能有哪些原因?
- ECS主机上执行UniAgent安装命令,下载安装脚本失败
- 应用资源管理(即将下线)
- 运维管理(即将下线)
- 其他常见问题
- 视频帮助
- API参考
- SDK参考
- 场景代码示例
-
AOM 1.0 文档
- 产品介绍(1.0)
- 快速入门(1.0)
- 用户指南(1.0)
- 最佳实践(1.0)
-
常见问题(1.0)
- 用户高频问题
- 常见咨询问题
-
常见使用问题
- 没有消息通知服务的访问权限?
- 资源运行异常怎么办?
- 如何设置全屏模式在线时长?
- 日志配额已达到90%或已满怎么办?
- 如何获取AK/SK?
- 如何查询服务不可用时间?
- AOM告警规则状态为什么显示“数据不足”?
- 正常状态的工作负载,AOM界面显示异常是什么原因?
- 如何创建委托apm_admin_trust?
- 如何通过创建委托获取AK/SK?
- 日志费用说明
- 在控制台查看不到日志怎么办?
- 如何处理界面“ICAgent状态”为“离线”的问题?
- 安装了ICAgent,但是监控不到主机是什么原因?
- 安装ICAgent过程中,系统提示“no crontab for root”是什么原因?
- AOM配置日志转储时无法选中obs桶是什么原因?
- Grafana无法展示内容是什么原因?
- 视频帮助(1.0)
- 文档下载
- 通用参考
链接复制成功!
通过AOM告警分组规则清除ELB告警风暴
本文档介绍如何为告警规则配置告警降噪功能,在发送告警通知前按告警降噪规则对告警进行处理,处理完成后再发送通知,避免产生告警风暴。
应用场景
某电商运维人员在定位分析应用、资源及业务的实时运行状况时,发现系统上报的告警数量过大,重复性告警过多,无法及时从众多告警中及时发现故障,全面掌握应用情况。
解决方案
下面以监控ELB业务层全量指标为例说明,如何使用分组规则清除告警风暴。
- 创建分组规则:使用分组规则功能,从告警中筛选出满足条件的告警子集,然后按分组条件对告警子集分组,告警触发时同组告警会被汇聚在一起发送一条通知。
- 创建全量指标告警规则:通过设置告警规则并关联分组规则,实时监控环境中主机、组件等资源使用情况。
前提条件
已创建告警行动规则。
步骤一:创建分组规则
创建一个分组规则,当产生AOM的紧急、重要告警时,触发“Monitor_host”行动规则,且告警按照告警源合并分组。
- 登录AOM 2.0控制台。
- 在左侧导航栏中选择“告警管理 > 告警降噪”。
- 在“分组规则”页签下单击 “创建分组规则”,设置规则名称、分组条件等信息。
图1 创建分组规则
表1 分组规则参数说明 参数
说明
示例
规则名称
分组规则的名称。
只能由大小写字母、数字、下划线组成,且不能以下划线开头和结尾,最多不能超过100个字符。
rule
企业项目
所属的企业项目。
- 如果在全局页面设置为“ALL”,此处请从下拉列表中选择企业项目。
- 如果在全局页面已选择企业项目,则此处灰化不可选。
default
描述
分组规则的描述。最多不能超过1024个字符。本示例可不填写。
-
分组条件
根据设置的条件对告警过滤,筛选出符合分组条件的告警,并为符合分组条件的告警设置告警行动规则。
- 告警级别:指标或事件告警的级别,可以设置为:紧急、重要、次要、提示。
- 告警源:触发告警或事件的服务名称。可以设置为AOM 、LTS、CCE等服务名称。
- 告警级别+等于+紧急、重要
- 告警源+等于+AOM
行动规则
告警行动规则关联SMN主题与消息模板,当日志、资源或指标数据满足对应的告警条件时,系统根据关联SMN主题与消息模板来发送告警通知。
Monitor_host
通知合并规则
根据指定字段对分组后的告警合并 。合并在一组的告警会被汇聚在一起发送一条通知。此处选择“按告警源 + 严重度”合并。
按告警源 + 严重度:由相同告警源触发的告警,且其严重度相同时,合并为一组发送告警通知。
按告警源 + 严重度
首次等待
首次创建告警合并集合后,等待多久发送第一次告警通知。通常设置为秒级别的时间,便于告警合并后再发送,避免告警风暴。
15秒
变化等待
合并集合内的告警数据发生变化后,等待多久发送告警通知。此处的变化是指新增告警或告警状态改变。
60秒
重复等待
合并集合内的告警数据重复后,等待多久发送告警通知。此处的重复是指无新增告警和状态变化,仅其他属性(例如标题、内容等)改变。
1小时
- 单击“立即创建”。
步骤二:创建全量指标告警规则
通过指标告警规则可对资源的指标设置阈值条件。当指标数据满足阈值条件时产生阈值告警,当没有指标数据上报时产生数据不足事件。
下面的操作以按全量指标创建为例说明,创建一个监控ELB业务层全量指标的告警规则。
- 在左侧导航栏中选择“告警管理 > 告警规则”。
- 在“指标或事件”页签下单击“创建”。
- 设置告警规则基本信息,具体的参数说明如表2所示。
- 设置告警规则的详细信息。
- 选择“规则类型”为“指标告警规则”,“配置方式”为“按全量指标”。
- “Prometheus实例”默认选择“Prometheus_AOM_Default”。
- 设置告警规则详情。具体的参数说明如表3所示。
设置完成后,监控的指标数据以折线图形式显示在告警条件上方。单击“新增指标”可多次添加监控指标,并为指标设置统计周期和检测规则等信息。
表3 告警规则详情填写说明 参数名称
参数说明
示例
多指标
按设置的多个指标数据和对应告警条件逐条计算,只要满足一个条件则触发告警。
多指标
指标
需要监控的指标。单击“指标”文本框,通过下拉框右侧的资源树,可以按资源类型快速选择需监控的指标。
aom_process_cpu_usage
统计周期
指标数据按照所设置的统计周期进行聚合。
1分钟
条件
指标监控的维度。不设置则表示选中全部资源。本示例可不填写。
-
分组条件
指标数据按指定字段分组聚合,对聚合的结果进行运算。
不分组
检测规则
指标告警的检测规则,由统计方式(平均值、最小值、最大值、总计、样本个数)、判断条件(≥、≤、>、<)和阈值组成。
“平均值 < 1”
触发条件
连续多少个周期满足阈值条件后,触发指标告警。
3
告警级别
指标告警的级别。
- 单击“高级设置”,设置检查频率、告警恢复等信息,具体参数说明请参见表4。
表4 “高级设置”填写说明 参数名称
参数说明
示例
检查频率
根据设置的频率对指标数据查询和分析结果进行检查。
固定间隔 1分钟
告警恢复
连续多少个周期不满足告警条件,恢复告警。
1
无数据处理
监控周期内无指标数据产生或指标数据不足时系统的处理方式,根据业务需要开启或者关闭。
开启:连续周期“1”达到数据不足,状态设置“数据不足并发送告警”
告警标签
单击
添加告警标签。告警标签为告警标识性属性,key:value键值对格式,主要应用于告警降噪等场景。本示例可不填写。
-
告警标注
单击
添加告警标注。告警标注为告警非标识性属性,key:value键值对格式,主要应用于告警通知、消息模板等场景。本示例可不填写。
-
- 设置告警通知策略。具体参数说明请参见表5。
图2 设置告警降噪方式
- 单击“立即创建”,完成创建。创建完成后,单击“返回告警规则列表”可查看已创建的告警规则。
只要指标数据满足设置的告警条件时,就会生成一条指标类告警,您可在左侧导航栏中选择“告警管理 > 告警列表”,在告警列表中查看该告警。产生的告警是AOM的紧急、重要告警会被汇聚在一起,按照步骤一:创建分组规则中所设置的条件发送告警通知。