通过多账号聚合Prometheus实例实现指标数据统一监控

应用场景

某电商平台运维人员在监控指标时，只能实时监控一个账号下的指标数据，无法同时监控其他账号。

解决方案

AOM通过Prometheus监控功能，创建多账号聚合实例，并接入账号、云服务与云服务相关指标，支持在“指标浏览”界面同时监控多个成员账号的指标数据并为这些指标设置告警规则。当指标存在异常情况时，立即触发告警，发送通知。

图1 指标数据统一监控配置流程

前提条件

• 监控账号与被监控账号均已加入组织。监控账号需为组织管理员，非组织管理员的组织成员需执行步骤二，授权委托管理员身份。

步骤一：被监控账号接入云服务指标

步骤二：开启AOM可信服务并设置委托管理员（若进行监控的账号为组织管理员，可跳过此步骤）

1. 使用组织中的管理员账号登录组织Organizations控制台。
2. 在左侧导航栏选择“可信服务”。
3. 在可信服务列表中，单击“应用运维管理服务（AOM）”操作列的“启用”，开启AOM可信服务。
4. 单击“应用运维管理服务（AOM）”操作列的“设置委托管理员”，选择需要设置为委托管理员的账号，单击“确定”。如图2所示，将paas_aom设置为委托管理员。
   图2 设置委托管理员
   

步骤三：创建多账号聚合实例

1. 使用组织中身份为管理员或委托管理员的监控账号登录AOM 2.0控制台。
2. 在左侧菜单栏中选择“Prometheus监控 > 实例列表”，单击“创建Prometheus实例”。
3. 进入创建Prometheus实例页面，参照表3设置参数。

   表3 创建Prometheus实例参数说明

   参数名称	说明	示例
   实例名称	Prometheus实例的名称。 只能由中文、字母、数字、下划线、中划线组成，且不能以下划线或中划线开头和结尾，最多不能超过100个字符。	test-aom
   企业项目	所属的企业项目，此处请从下拉列表中选择。如果当前已有的企业项目无法满足您的需求，可以单击“创建企业项目”新建，操作详情请参考创建企业项目。	default
   实例类型	Prometheus实例的类型，此处选择“Prometheus for 多账号聚合”。	多账号聚合实例
   标签	单击“添加标签”，输入标签键和标签值，即可为Prometheus实例添加标签。 最多可添加20个标签。 标签键可以包含任意语种的字母、数字和空格，以及_.:=+-@字符，但首尾不能包含空格，且不能以_sys_开头。 标签值可以包含任意语种的字母、数字和空格，以及_.:/=+-@字符。	-
   描述	Prometheus 实例的描述，最多可输入1024个字符。	多账号聚合实例示例
   选择聚合方式	聚合普罗实例的方式。 当前账号下的 Prometheus 实例：将当前账号下的Prometheus实例聚合至多账号聚合实例中。 组织中其他账号的 Prometheus 实例：将同个组织中其他账号的Prometheus实例聚合至多账号聚合实例中。	组织中其他账号的 Prometheus 实例
   选择要聚合的账号	在账号树中选择待聚合的账号。	paas_apm
   选择要聚合的实例	单击左侧的账号树中的账号名称，在Prometheus 实例列表中勾选需要聚合的Prometheus 实例。	test111

4. 单击“确定”完成创建。如图3所示，创建了一个名为“test-aom”的多账号聚合实例。
   图3 Prometheus实例列表
   

步骤四：监控账号配置统一监控告警

1. 验证多账号聚合实例的指标是否接入。
   1. 在左侧导航栏选择“指标浏览”，在“Prometheus实例”下拉列表中选择步骤三配置的多账号聚合实例“test-aom”。
   2. 单击“交互模式”，选择一个指标并复制指标名称。例如此处选择“aom_node_cpu_usage”。
   3. 单击“按语法模式（PromQL）”，输入普罗表达式：sum(指标名称) by (aom_source_account_name)，即可查看指标是否接入。例如此处输入：sum(aom_node_cpu_usage) by (aom_source_account_name)。
      图4 查看指标
      

2. 单击“交互模式”，选择需要监控的指标，即可查看该账号下的指标。如图5所示，选择指标“aom_node_cpu_usage”，即可在图表中实时监控“paas_apm”与“paas_aom”账号下该指标的指标值与趋势。
   图5 查看指标
   

3. 单击指标列表右上角的“创建告警规则”，为选择的指标新增告警规则。
   1. 设置告警规则的规则名称等基本信息，具体的参数说明如表4所示。

      表4 基本信息填写说明

      参数名称	说明	示例
      规则原始名称	告警规则的原始名称。最多可输入256个字符，只能包含中文、字母、数字、下划线和中划线，开头、结尾不允许输入特殊字符。	monitor
      规则名称	告警规则的名称。最多可输入256个字符，只能包含中文、字母、数字、特殊字符（_-【】），开头、结尾不允许输入中划线、下划线。本示例可不填写。	-
      企业项目	选择业务需要的企业项目，默认为default。	default
      描述	规则的描述信息，最多可输入1024个字符。本示例可不填写。	-

   2. 设置告警规则的详细信息。
      1. 告警规则设置中的规则类型、配置方式、Prometheus实例默认选择为指标浏览处的配置。
      2. 设置告警规则详情。监控的指标自动选择为指标浏览处选择的指标。

         指标的详细设置由统计周期、条件、检测规则、触发条件以及告警级别组成。指标告警的检测规则，由统计方式（平均值、最小值、最大值、总计、样本个数）、判断条件（>=、<=、>、<）和阈值组成。例如，统计周期为“1分钟”，检测规则设置为“平均值>1”，触发条件为连续周期“3”，告警级别为“紧急”，表示连续三个统计周期，指标的平均值大于已设置的阈值1时，生成紧急告警。

         图6 设置告警规则
         

      3. 在“高级设置”下设置检查频率、告警恢复等信息，具体参数说明请参见表5。

         表5 “高级设置”填写说明

         参数名称	参数说明	示例
         检查频率	根据设置的频率对指标数据查询和分析结果进行检查。	固定间隔 1分钟
         告警恢复	连续多少个周期不满足告警条件，恢复告警。	1
         无数据处理	监控周期内无指标数据产生或指标数据不足时系统的处理方式，根据业务需要开启或者关闭。	开启：连续周期“1”达到数据不足，状态设置“数据不足并发送告警”
         告警规则标签	单击为告警规则添加标签，标签将同步到TMS服务，该标签可以用于搜索过滤、告警降噪分组条件，也可以在消息模板中以$event.metadata.标签名被引用。 告警标签为告警标识性属性，key:value键值对格式。本示例可不填写。	-
         告警规则标注	单击为告警规则添加键值对属性，标注不会同步给TMS标签服务，但是可以用于告警降噪分组条件，也可以在消息模板中以$event.metadata.标注名被引用。 告警标注为告警非标识性属性，key:value键值对格式。本示例可不填写。	-

      4. 设置告警通知策略。具体参数说明请参见表6。
         图7 告警通知
         

         表6 告警通知策略填写说明

         参数名称	参数说明	示例
         通知场景	设置发送告警通知的场景。系统默认选择“告警触发时”和“告警恢复时”。 告警触发时：满足告警触发条件，则以邮件、短信等方式发送告警通知给指定人员。 告警恢复时：满足告警恢复条件，则以邮件、短信等方式发送告警通知给指定人员。	保持系统默认选择
         告警方式	直接告警：满足告警条件，直接发送告警。选择直接告警方式，需要设置通知频率和是否启用通知规则。 通知频率：发送告警通知的频率，请根据需要从下拉列表中选择。 通知规则：启用通知规则后，系统根据关联SMN主题与消息模板来发送告警通知。如果现有列表中的通知规则无法满足需要，可在下拉列表中单击“新建告警通知规则”添加。设置告警通知规则的操作详见告警通知规则。	告警方式：直接告警 通知频率：只通知一次 通知规则：aomtest

      5. 单击“立即创建”，完成创建。创建完成后，单击“查看告警规则”可查看已创建的告警规则。

         单击规则名称，可查看该告警规则的详细信息。只要监控对象满足设置的告警条件时，在告警界面就会生成一条指标类告警，您可在左侧导航栏中选择“告警中心 > 告警列表”，在告警列表中查看该告警。只要某个主机满足已设的通知策略，系统就会以邮件、短信或企业微信等方式发送告警通知给指定人员。

4. 单击指标列表右上角的“添加到仪表盘”，将图表添加至仪表盘。
   图8 添加到仪表盘
   
   1. 输入图表名称“aom_cpu”，选择已有仪表盘。如果现有列表中的仪表盘无法满足需要，可选择新增仪表盘，新建仪表盘的操作详见创建仪表盘。
   2. 单击“确定”，自动跳转至仪表盘界面查看创建的图表。如图9所示，在仪表盘“aom”下创建了“CPU使用率”的图表，可以实时监控“paas_apm”与“paas_aom”账号下“CPU使用率”的指标值与趋势。
      图9 查看图表