通过多账号聚合Prometheus实例实现指标数据统一监控

实践场景

某电商平台运维人员在监控指标时，只能实时监控一个账号下的指标数据，无法同时监控其他账号。

解决方案

AOM通过Prometheus监控功能，创建多账号聚合实例，并接入账号、云服务与云服务相关指标，支持在“指标浏览”界面同时监控多个成员账号的指标数据并为这些指标设置告警规则。当指标存在异常情况时，立即触发告警，发送通知。

前提条件

• 监控账号与被监控账号均已加入组织。监控账号需为组织管理员，非组织管理员的组织成员需进行步骤二，授权委托管理员身份。
• 被监控账号当前支持汇聚的包括“Prometheus for 云服务”可接入的18个云服务指标（FunctionGraph，EVS，CBR，OBS，VPC，ELB，DC，NAT，DMS，DCS，RDS，DDS，DRS，LakeFormation，MRS，GaussDB DWS，CSS，WAF）以及ICAgent采集的CCE和ECS指标。

步骤一：被监控账号接入云服务资源

下面的操作以接入FunctionGraph、DCS、ECS为例说明。接入CCE与接入ECS类似，但当前CCE购买时默认自动安装ICAgent。接入其他云服务资源的操作与接入FunctionGraph、DCS类似。

• 接入FunctionGraph、DCS云服务资源。
  1. 登录AOM 2.0控制台。
  2. 在左侧导航栏中选择“接入中心”。
  3. 在“云服务”下单击需要接入的云服务资源。
  4. 选择云服务FunctionGraph、DCS后，单击“确定”，即可接入。
     图1 云服务接入
     
• 接入ECS资源。
  1. 将鼠标移动到右上方的用户名称，并在下拉列表中选择“我的凭证”。
     图2 我的凭证
     
  2. 在“我的凭证”页面中选择“访问密钥”页签。
  3. 在列表上方单击“新增访问密钥”，输入验证码或密码。
     图3 新增访问密钥
     
  4. 单击“确定”，生成并下载AK/SK。

     创建访问密钥成功后，您可以在访问密钥列表中查看访问密钥ID（AK），在下载的.csv文件中查看秘密访问密钥（SK）。

  5. 返回AOM 2.0控制台页面，在左侧导航栏中选择“采集管理”，进入“采集管理”界面。
  6. 在左侧导航栏中，选择“UniAgent管理 > 虚机接入”。
  7. 在虚机接入中，选择待安装ICAgent的主机，单击“插件批量操作”。
     图4 安装ICAgent
     
  8. 在弹出的对话框中，操作类型选择“安装”，选择插件为“ICAgent”，插件版本选择“5.12.163”，在“ak”、“sk”中输入4获取的AK/SK。
  9. 设置完成后，单击“确认”，安装ICAgent。

步骤二：开启AOM可信服务并设置委托管理员（若进行监控的账号为组织管理员，可跳过此步骤）

1. 使用组织中的管理员账号登录组织Organizations控制台。
2. 在左侧导航栏选择“可信服务”。
3. 在可信服务列表中，单击“应用运维管理服务（AOM）”操作列的“启用”，开启AOM可信服务。
4. 单击“应用运维管理服务（AOM）”操作列的“设置委托管理员”，选择需要设置为委托管理员的账号，单击“确定”。如图5所示，将paas_aom设置为委托管理员。
   图5 设置委托管理员
   

步骤三：配置多账号聚合实例

1. 使用组织中身份为管理员或委托管理员的监控账号登录AOM 2.0 控制台。
2. 在左侧菜单栏中选择“Prometheus监控 > 实例列表”，单击“创建Prometheus实例”。
3. 填写实例名称，选择实例类型为“Prometheus for 多账号聚合实例”。
   图6 创建Prometheus实例
   

4. 单击“确定”完成创建。如图7所示，创建了一个名为“test-aom”的多账号聚合实例。
   图7 Prometheus 实例列表
   

5. 在“Prometheus实例”列表中单击创建的多账号聚合实例的名称，进入多账号聚合实例的“账号接入”页面，选择需要接入的账号，云服务及云服务指标。

   例如，成员账号接入“paas_apm、paas_aom”。云服务选择接入“函数工作流 FunctionGraph、分布式缓存 DCS、弹性云服务器 ECS”。在云服务列表中选择云服务后，单击“新增指标”，可以在新增指标弹框里勾选任意需要接入的指标。

   图8 账号接入
   

   接入后，等待2-3min在指标浏览处即可查看接入的指标数据。

步骤四：监控账号配置统一监控告警

1. 验证多账号聚合实例的指标是否接入。
   1. 在左侧导航栏选择“指标浏览”，在“Prometheus实例”下拉列表中选择步骤三配置的多账号聚合实例“test-aom”。
   2. 单击“全量指标”，选择一个指标并复制指标名称。
   3. 单击“按普罗语句添加”，输入普罗表达式：sum(指标名称) by (aom_source_account_name)，即可查看指标是否接入。
      图9 查看指标
      

2. 单击“全量指标”，选择需要监控的指标，即可查看该账号下的指标。如图10所示，选择指标“aom_node_cpu_usage”，即可在图表中实时监控“paas_apm”与“paas_aom”账号下该指标的指标值与趋势。
   图10 查看指标
   

3. 单击指标列表右上角的，为选择的指标新增告警规则。
   1. 设置告警规则的规则名称等基本信息。
   2. 设置告警规则的详细信息。
      1. 告警规则设置中的规则类型、配置方式、Prometheus 实例默认选择为指标浏览处的配置。
      2. 设置告警规则详情。监控的指标自动选择为指标浏览处选择的指标。

         指标的详细设置由统计周期、条件、检测规则、触发条件以及告警级别组成。指标告警的检测规则，由统计方式（平均值、最小值、最大值、总计、样本个数）、判断条件（>=、<=、>、<）和阈值组成。例如，统计周期为“1分钟”，检测规则设置为“平均值>1”，触发条件为连续周期“3”，告警级别为“紧急”，表示连续三个统计周期，指标的平均值大于已设置的阈值1时，生成紧急告警。

         图11 设置告警规则
         
      3. 单击“高级设置”，设置检查频率、告警恢复等信息。
      4. 设置告警通知策略。告警通知策略有两种方式，如图12所示，此处选择直接告警方式。
         直接告警：满足告警条件，直接发送告警。选择直接告警方式，需要设置通知频率和是否启用告警行动规则。

         1. 设置发送告警通知的频率，请根据需要从下拉列表中选择。
         2. 设置是否启用告警行动规则。启用告警行动规则后，系统根据关联SMN主题与消息模板来发送告警通知。
         图12 告警通知
         
      5. 单击“立即创建”，完成创建。创建完成后，单击“返回告警规则列表”可查看已创建的告警规则。

         如图13所示，单击规则名称前的，可查看该告警规则的详细信息。

         在展开的列表中，只要监控对象满足设置的告警条件时，在告警界面就会生成一条指标类告警，您可在左侧导航栏中选择“告警管理 > 告警列表”，在告警列表中查看该告警。只要某个主机满足已设的通知策略，系统就会以邮件、短信或企业微信等方式发送告警通知给指定人员。

         图13 告警规则
         

4. 单击指标列表右上角的，将图表添加至仪表盘。
   1. 在下拉列表中选择仪表盘并输入图表名称。如果现有列表中的仪表盘无法满足需要，可单击“创建新的仪表盘”，新建仪表盘的操作详见创建仪表盘。
      图14 添加到仪表盘
      
   2. 单击“确定”，自动跳转至仪表盘界面查看创建的图表。如图15所示，在仪表盘“aom”下创建了“CPU使用率”的图表，可以实时监控“paas_apm”与“paas_aom”账号下“CPU使用率”的指标值与趋势。
      图15 查看图表