通过多账号聚合Prometheus实例实现指标数据统一监控
本文档介绍通过配置统一监控告警，同时监控不同账号下的指标数据。
应用场景
某电商平台运维人员在监控指标时，只能实时监控一个账号下的指标数据，无法同时监控其他账号。
解决方案
AOM通过Prometheus监控功能，创建多账号聚合实例，并接入账号、云服务与云服务相关指标，支持在“指标浏览”界面同时监控多个成员账号的指标数据并为这些指标设置告警规则。当指标存在异常情况时，立即触发告警，发送通知。
前提条件
- 监控账号与被监控账号均已加入组织。监控账号需为组织管理员，非组织管理员的组织成员需执行步骤二，授权委托管理员身份。
- 被监控账号当前支持汇聚的包括“Prometheus for 云服务”可接入的32个云服务指标（FunctionGraph，DLI，SFS，SFS TURBO，SMN，VPN，GeminiDB，AS，CloudTable，MRS，CBH，ER，GaussDB for MySQL，DCS，RDS，OBS，DMS，ELB，NAT，VPC，GaussDB DWS，LakeFormation，WAF，DRS，DDS，DC，CSS，EVS，CBR，APIG）以及ICAgent采集的CCE和ECS指标。
步骤一：被监控账号接入云服务资源
下面的操作以接入接入FunctionGraph、ECS为例说明。接入CCE与接入ECS类似，但当前CCE购买时默认自动安装ICAgent。接入其他云服务资源的操作与接入FunctionGraph类似。
- 接入FunctionGraph云服务资源。
- 登录AOM 2.0控制台。
- 在左侧导航栏中选择“接入 > 接入中心”。
- 在“Prometheus 云服务”下单击“函数工作流 FunctionGraph”卡片，在弹框中设置接入云服务的相关信息。
表1 接入云服务 参数名称
说明
示例
选择Prometheus for 云服务实例
将云服务指标接入Prometheus for 云服务实例。
- 企业项目：default
- Prometheus for 云服务实例：prometheus_cloudservice_default
接入云服务标签
指标维度可以选择是否增加云服务标签。开启后，云服务资源上的标签将被增加到指标维度中，标签的新增和修改都将同步，同步周期为1小时。如果现有标签无法满足需要，可单击“前往标签管理服务（TMS）”进行添加，详细操作请参见添加资源标签。
-
- 单击“立即接入”，则将云服务接入到云服务类型Prometheus实例中。
- 接入ECS资源。
步骤二：开启AOM可信服务并设置委托管理员（若进行监控的账号为组织管理员，可跳过此步骤）
- 使用组织中的管理员账号登录组织Organizations控制台。
- 在左侧导航栏选择“可信服务”。
- 在可信服务列表中，单击“应用运维管理服务（AOM）”操作列的“启用”，开启AOM可信服务。
- 单击“应用运维管理服务（AOM）”操作列的“设置委托管理员”，选择需要设置为委托管理员的账号，单击“确定”。如图1所示，将paas_aom设置为委托管理员。
步骤三：配置多账号聚合实例
- 使用组织中身份为管理员或委托管理员的监控账号登录AOM 2.0控制台。
- 在左侧菜单栏中选择“Prometheus监控 > 实例列表”，单击“创建Prometheus实例”。
- 填写实例名称，选择实例类型为“Prometheus for 多账号聚合实例”。
- 单击“确定”完成创建。如图2所示，创建了一个名为“test-aom”的多账号聚合实例。
- 在“Prometheus实例”列表中单击创建的多账号聚合实例的名称，进入多账号聚合实例的“账号接入”页面，选择需要接入的账号，云服务及云服务指标。
例如，成员账号接入“paas_apm、paas_aom”。云服务选择接入“函数工作流 FunctionGraph、分布式缓存 DCS、弹性云服务器 ECS”。在云服务列表中选择云服务后，单击“新增指标”，可以在新增指标弹框里勾选任意需要接入的指标。
图3 账号接入
接入后，等待2-3min在指标浏览处即可查看接入的指标数据。
步骤四：监控账号配置统一监控告警
- 验证多账号聚合实例的指标是否接入。
- 在左侧导航栏选择“指标浏览”，在“Prometheus实例”下拉列表中选择步骤三配置的多账号聚合实例“test-aom”。
- 单击“全量指标”，选择一个指标并复制指标名称。例如此处选择“aom_node_cpu_usage”。
- 单击“按普罗语句添加”，输入普罗表达式：sum(指标名称) by (aom_source_account_name)，即可查看指标是否接入。例如此处输入：sum(aom_node_cpu_usage) by (aom_source_account_name)。
图4 查看指标
- 单击“全量指标”，选择需要监控的指标，即可查看该账号下的指标。如图5所示，选择指标“aom_node_cpu_usage”，即可在图表中实时监控“paas_apm”与“paas_aom”账号下该指标的指标值与趋势。
- 单击指标列表右上角的
，为选择的指标新增告警规则。
- 设置告警规则的规则名称等基本信息，具体的参数说明如表2所示。
- 设置告警规则的详细信息。
- 告警规则设置中的规则类型、配置方式、Prometheus 实例默认选择为指标浏览处的配置。
- 设置告警规则详情。监控的指标自动选择为指标浏览处选择的指标。
指标的详细设置由统计周期、条件、检测规则、触发条件以及告警级别组成。指标告警的检测规则，由统计方式（平均值、最小值、最大值、总计、样本个数）、判断条件（>=、<=、>、<）和阈值组成。例如，统计周期为“1分钟”，检测规则设置为“平均值>1”，触发条件为连续周期“3”，告警级别为“紧急”，表示连续三个统计周期，指标的平均值大于已设置的阈值1时，生成紧急告警。
图6 设置告警规则
- 单击“高级设置”，设置检查频率、告警恢复等信息，具体参数说明请参见表3。
表3 “高级设置”填写说明 参数名称
参数说明
示例
检查频率
根据设置的频率对指标数据查询和分析结果进行检查。
固定间隔 1分钟
告警恢复
连续多少个周期不满足告警条件，恢复告警。
1
无数据处理
监控周期内无指标数据产生或指标数据不足时系统的处理方式，根据业务需要开启或者关闭。
开启：连续周期“1”达到数据不足，状态设置“数据不足并发送告警”
告警标签
单击
添加告警标签。告警标签为告警标识性属性，key:value键值对格式，主要应用于告警降噪等场景。本示例可不填写。-
告警标注
单击
添加告警标注。告警标注为告警非标识性属性，key:value键值对格式，主要应用于告警通知、消息模板等场景。本示例可不填写。-
- 设置告警通知策略。具体参数说明请参见表4。
图7 告警通知
表4 告警通知策略填写说明 参数名称
参数说明
示例
通知场景
设置发送告警通知的场景。系统默认选择“告警触发时”和“告警恢复时”。
- 告警触发时：满足告警触发条件，则以邮件、短信等方式发送告警通知给指定人员。
- 告警恢复时：满足告警恢复条件，则以邮件、短信等方式发送告警通知给指定人员。
保持系统默认选择
告警方式
- 直接告警：满足告警条件，直接发送告警。选择直接告警方式，需要设置通知频率和是否启用告警行动规则。
- 通知频率：发送告警通知的频率，请根据需要从下拉列表中选择。
- 行动规则：启用告警行动规则后，系统根据关联SMN主题与消息模板来发送告警通知。如果现有列表中的告警行动规则无法满足需要，可在下拉列表中单击“新建告警行动规则”添加。设置告警行动规则的操作详见告警行动规则。
告警方式：直接告警
通知频率：只通知一次
告警行动规则：aomtest
- 单击“立即创建”，完成创建。创建完成后，单击“返回告警规则列表”可查看已创建的告警规则。
如图8所示，单击规则名称前的
，可查看该告警规则的详细信息。在展开的列表中，只要监控对象满足设置的告警条件时，在告警界面就会生成一条指标类告警，您可在左侧导航栏中选择“告警管理 > 告警列表”，在告警列表中查看该告警。只要某个主机满足已设的通知策略，系统就会以邮件、短信或企业微信等方式发送告警通知给指定人员。
- 单击指标列表右上角的
，将图表添加至仪表盘。
