告警

为什么需要告警

在云原生架构下，应用系统由成百上千个微服务和实例构成，其运行状态瞬息万变。运维团队无法一直紧盯监控大屏，手动巡检所有指标和日志。当某个服务的响应时间突然飙升，或某台主机的磁盘空间即将耗尽时，若未能及时发现，小问题可能迅速演变为大规模服务中断，造成业务损失。

面对这种动态、复杂的运维环境，需要一种能够自动、实时地感知异常，并第一时间通知到人的机制。AOM的告警服务正是为此而生，它持续评估您关注的指标和日志，一旦发现异常，立即通过邮件、短信、Webhook等多种渠道通知您，让您在问题影响用户之前就能介入处理，将风险控制在萌芽阶段。

告警的优势是什么

• 多源数据融合：支持同时基于指标阈值、日志关键词、应用性能指标等多种数据源设置告警规则，实现从基础设施到应用层的全方位异常感知。
• 灵活的规则配置：提供静态阈值、同比/环比动态阈值、智能阈值等多种告警策略，并支持多条件组合，可根据不同业务场景精细定义异常标准，有效减少误报。
• 高效的告警降噪：内置告警分组、抑制、静默等降噪机制，能够将大量重复、关联的告警事件聚合成一条通知，避免告警风暴对运维人员造成干扰。
• 多维度的通知方式：支持邮件、短信、企业微信、钉钉、Webhook等多种通知渠道，并可根据告警级别设置不同的通知策略，确保关键告警能够触达正确的人。

告警的使用场景

• 基础设施异常实时通知：运维团队需要时刻关注底层资源的健康状态，但无法持续监控每台服务器的CPU、内存、磁盘等指标。通过AOM告警，可以为“CPU使用率 > 90%”设置一条告警规则。当任何一台主机触发该规则时，系统会自动发送告警通知。这使得运维团队无需人工巡检，即可在资源过载的第一时间获得通知，及时进行扩容或问题排查，保障了基础设施层的稳定运行。
• 应用性能劣化快速感知：开发与运维人员需要关注应用的响应时间和错误率，以保障用户体验。通过AOM告警，可以为“接口响应时间 > 2秒”或“错误率 > 1%”设置告警。当线上应用出现性能劣化时，告警会立即触发。这帮助团队在用户投诉之前就感知到问题，将故障发现时间从天级缩短到分钟级，极大提升了问题响应速度。
• 业务指标异常监控：业务运营人员关注订单量、用户登录数等核心业务指标。通过AOM告警，可以为“每分钟订单量环比下降50%”设置一条告警。当业务数据出现异常波动时，告警会通知运营人员。这使得业务团队能够及时洞察业务风险，并联合技术团队排查原因，有效保障了核心业务指标的稳定性。
• 日志关键字错误告警：开发人员在排查问题时，经常需要从海量日志中寻找错误信息。通过AOM告警，可以设置针对“Exception”、“OutOfMemoryError”等关键字的日志告警。当应用日志中出现这些关键字时，系统会自动生成告警。这帮助开发人员从被动检索日志转变为主动接收错误通知，显著提升了问题定位的效率。

告警的工作原理

AOM告警系统的运行遵循“数据评估 > 事件生成 > 降噪处理 > 通知分发”的流程，确保从异常发现到信息触达的每个环节高效协同、准确可靠。

1. 数据评估：系统按照固定的时间间隔（如每10秒或每分钟），从指标存储服务和日志服务中拉取最新的数据流。将拉取到的实时数据与用户预先配置的告警规则进行逐条比对。这些规则定义了异常的具体条件，例如“CPU使用率大于90%并持续5分钟”或“日志中出现‘Exception’关键字”。判断当前数据是否满足异常条件，为后续的事件生成提供依据。
2. 事件生成：当数据满足规则中的触发条件时，告警规则系统立即生成一条原始告警事件。该事件包含了触发值、资源标识、时间戳、规则ID等关键元数据，为后续的定位和分析提供了完整的信息基础。将“数据异常”这一事实转化为结构化的告警事件记录，进入后续处理流程。
3. 降噪处理：原始告警事件被送入事件处理中心，该中心负责对事件进行降噪处理。系统根据预设的策略，将来自同一资源或同一规则的重复事件进行分组、抑制或静默。例如，当同一台主机的CPU持续高负载时，系统会抑制后续重复的告警，只发送一条通知，避免告警风暴对运维人员造成干扰。管理告警质量，减少重复或低级别告警对运维人员的干扰，确保运维人员只收到真正需要关注的信息。
4. 通知分发：经过降噪处理后的有效告警记录，被传递至通知分发服务。该服务根据告警的严重级别、资源标签等信息，匹配用户事先配置好的通知策略，确定合适的通知渠道（如邮件、短信、Webhook）和接收人。确保“信息触达”，将结构化的告警通知（包含“发生了什么问题”、“发生在哪里”、“严重程度如何”等关键信息）以用户期望的方式及时送达。

与告警相关的操作和特性

• 创建告警规则：了解如何为您的应用或资源创建一条基础的指标告警规则，并配置通知方式。详情请参考创建AOM指标告警规则。
• 创建告警通知规则：学习如何配置通知和通知渠道（邮件、短信、Webhook），确保告警信息准确触达。详情请参考创建AOM告警通知规则。
• 查看与处理告警事件：学习如何在告警列表中查看、屏蔽和关闭告警事件，完成告警的闭环管理。详情请参考查看AOM告警或事件。
• 配置告警降噪规则：了解如何利用告警分组、抑制和静默功能，有效减少告警风暴，提升告警处理效率。详情请参考AOM告警降噪概述。
• 配置日志关键字告警：学习如何基于应用日志中的特定关键字（如“ERROR”）创建告警，实现对代码异常的自动感知。详情请参考创建AOM日志告警规则。