建设完整指标体系，实现立体化监控

实践场景

用户体验至上的互联网时代，页面的响应速度、访问时延和页面的访问成功率常常会影响用户的体验，如果无法及时获知，就会导致流失大量用户，某商城的运维人员使用开源的监控软件，虽然能采集很多指标，但却分散在各处，无法统一展示。

解决方案

AOM能够实现云上应用的一站式立体化运维管理，在接入中心中可以接入需要监控的业务层、应用层、Prometheus中间件层等指标，在仪表盘中实现个性化监控，以及通过统一告警入口配置告警规则，实现业务的日常巡检，保障业务的正常运行。

前提条件

• 已将ELB日志接入LTS。
• 已为环境关联ECS资源。

步骤一：建设指标体系

1. 接入业务层指标。
   1. 登录AOM 2.0控制台。
   2. 在左侧导航栏中选择“接入中心 > 接入中心”。

      如果您进入的是新版接入中心，需要单击“接入中心”页面右上角“返回旧版”返回至旧版接入中心页面。

   3. 在右侧“业务层”面板单击需要接入的指标卡片。
      • 接入ELB日志指标
        1. 系统可自动接入，无需用户手动操作。
        2. 在左侧导航栏“仪表盘 > 仪表盘”页面，选择已创建的仪表盘，单击页面右上角的，在“日志源”页签输入对应SQL语句，即可在仪表盘中查看该日志指标。以查看流量指标为例，输入对应SQL语句，单击“查询”，如图1所示。
        图1 查看流量指标
        
      • 接入APM事务指标
        1. 为工作负载安装APM探针，具体操作请参见安装APM探针。
        2. 安装完成后，请登录安装探针的服务对应的控制台界面，执行操作触发APM事务指标的采集。以本实践场景中的商城服务为例，可以在商城操作界面将对应商品添加到购物车。
        3. 登录AOM 2.0控制台。
        4. 在左侧导航栏选择“指标浏览”。在右侧区域通过选择指标的方式查看接入的APM指标。

2. 接入应用层指标。
   1. 为工作负载安装APM探针，具体操作如下：
      1. 登录CCE控制台，单击集群名称进入集群。
      2. 在左侧导航栏中选择“工作负载 ”，选择需要上报到AOM的工作负载类型。
      3. 单击工作负载名称，选择“性能管理配置”，单击右下角“编辑”，修改“性能管理配置”相关信息。
      4. 选择“APM 2.0探针”，设置“探针版本”为“latest-x86”，“APM环境”为“phoenixenv1”，从“APM应用”的下拉列表中选择创建的“phoenixapp1”应用。
      5. 设置完成后，单击“保存”。
   2. 安装完成后，请登录安装探针的服务对应的控制台界面，执行操作触发应用层指标的采集。以本实践场景中的商城服务为例，可以在商城操作界面将对应商品添加到购物车。
   3. 登录AOM 2.0控制台。
   4. 在左侧导航栏选择“指标浏览”。在右侧区域通过选择指标的方式查看接入的应用层指标。

3. 接入中间件指标。
   1. 将数据上传到ECS服务器。
      1. 下载mysqld_exporter-0.14.0.linux-amd64.tar.gz软件包，下载地址：https://prometheus.io/download/。
      2. 以root用户登录ECS服务器，将下载的Exporter软件包上传到ECS服务器并解压。
      3. 登录RDS控制台，在“实例管理”界面实例列表中单击一个RDS实例名。在“基本信息”界面查看RDS安全组。
         图2 查看RDS安全组
         
      4. 检查RDS的安全组是否已开放3306端口。
         图3 检查RDS端口是否开放
         
      5. 执行以下命令，进入解压文件夹，并在ECS服务器上配置mysql.cnf文件。

         cd mysqld_exporter-0.14.0.linux-amd64 
         vi mysql.cnf

         例如，在mysql.cnf文件中添加如下内容：

         [client]

         user=root（rds用户名）

         password=****（rds密码）

         host=192.168.0.198（rds公网IP）

         port=3306（端口）

      6. 执行以下命令，启动mysqld_exporter工具。

         nohup ./mysqld_exporter --config.my-cnf="mysql.cnf" --collect.global_status --collect.global_variables &

      7. 执行以下命令，确认工具是否正常启动。

         curl http://127.0.0.1:9104/metrics

         如果回显信息如图4所示，能够查看到指标则说明工具启动正常。

         图4 查看指标
         
   2. 通过虚机接入方式接入中间件指标。
      1. 登录AOM 2.0控制台。
      2. 在左侧导航栏选择“全局设置”，在全局设置页面左侧导航栏选择“UniAgent管理”。
      3. 在“UniAgent管理”界面为ECS服务器安装UniAgent采集工具，具体操作请参见手动安装UniAgent。

         如果您进入的是新版UniAgent管理界面，需要单击页面右上角“返回旧版”返回至旧版UniAgent管理界面。

      4. 在左侧导航栏中选择“接入中心 > 接入中心”，在右侧“Prometheus 中间件”面板单击需要接入的指标卡片。
      5. 在弹框中配置采集任务和安装Exporter，详细操作请参见虚机场景Exporter接入。
      6. 完成后，单击“立即创建”。
   3. 接入完成后，在左侧导航栏，选择“指标浏览”。在右侧区域通过选择指标的方式查看接入的中间件指标。

4. 接入其他层级指标。以下以接入容器指标和云服务指标为例，其他类型指标接入请参考接入AOM。
   1. 登录AOM 2.0控制台。
   2. 在左侧导航栏中选择“接入中心 > 接入中心”。
   3. 在右侧“Prometheus 运行环境”与“Prometheus 云服务”面板单击需要接入的指标卡片。
      • 选择容器指标卡片：

        以选择“云容器引擎CCE”卡片为例，云容器引擎CCE在购买后集群后默认已经安装ICAgent采集器。

      • 选择云服务监控指标卡片：
        1. 单击云服务卡片，在弹出的对话框中选择需要监控的云服务。例如RDS或DCS服务。
        2. 选择“企业项目”和“Prometheus For 云服务实例”。“Prometheus For 云服务实例”此处灰化不可选，默认选择为所选“企业项目”下的云服务类型Prometheus实例。
        3. 单击“立即接入”完成接入。
   4. 接入完成后，在左侧导航栏选择“指标浏览”。在右侧区域通过选择指标的方式查看接入的指标。

步骤二：配置统一监控大盘

1. 创建指标告警规则。

   通过指标告警规则可对资源的指标设置阈值条件。当指标数据满足阈值条件时产生阈值告警，当没有指标数据上报时产生数据不足事件。

   按照配置方式的不同，创建指标告警规则可分为两种：按全量指标创建和按Prometheus命令创建。下面的操作以按全量指标创建为例说明。

   1. 登录AOM 2.0控制台。
   2. 在左侧导航栏中选择“告警中心 > 告警规则”。
   3. 在“Prometheus监控”页签单击“创建告警规则”。
   4. 设置告警规则的规则名称等基本信息。
   5. 告警规则设置。规则类型选择“指标告警规则”，配置方式选择“全量指标”，并在下拉列表中选择Prometheus实例。
   6. 设置告警规则详情。

      指标的详细设置由统计周期、条件、检测规则、触发条件以及告警级别组成。指标告警的检测规则，由统计方式（平均值、最小值、最大值、总计、样本个数）、判断条件（>=、<=、>、<）和阈值组成。例如，统计周期为“1分钟”，检测规则设置为“平均值>1”，触发条件为连续周期“3”，告警级别为“紧急”，表示连续三个统计周期，指标的平均值大于已设置的阈值1时，生成紧急告警。

   7. 在“高级设置”下设置检查频率、告警恢复等信息。本示例可保持系统默认设置。
   8. 设置告警通知策略。具体参数说明请参见表2。
      图5 告警通知
      

      表2 告警通知策略填写说明

      参数名称	参数说明	示例
      通知场景	设置发送告警通知的场景。系统默认选择“告警触发时”和“告警恢复时”。 告警触发时：满足告警触发条件，则以邮件、短信等方式发送告警通知给指定人员。 告警恢复时：满足告警恢复条件，则以邮件、短信等方式发送告警通知给指定人员。	保持系统默认选择
      告警方式	直接告警：满足告警条件，直接发送告警。选择直接告警方式，需要设置通知频率和是否启用通知规则。 通知频率：发送告警通知的频率，请根据需要从下拉列表中选择。 通知规则：启用通知规则后，系统根据关联SMN主题与消息模板来发送告警通知。如果现有列表中的通知规则无法满足需要，可在下拉列表中单击“新建告警通知规则”添加。设置告警通知规则的操作详见告警通知规则。	告警方式：直接告警 通知频率：只通知一次 通知规则：aomtest

   9. 单击“立即创建”，完成创建。创建完成后，单击“查看告警规则”可查看已创建的告警规则。

      单击规则名称，可查看该告警规则的详细信息。只要监控对象满足设置的告警条件时，在告警界面就会生成一条指标类告警，您可在左侧导航栏中选择“告警中心 > 告警列表”，在告警列表中查看该告警。只要某个主机满足已设的通知策略，系统就会以邮件、短信或企业微信等方式发送告警通知给指定人员。

2. 创建仪表盘。
   1. 新建仪表盘。
      1. 登录AOM 2.0控制台。
      2. 在左侧导航栏选择“仪表盘 > 仪表盘”。
      3. 单击列表左上角的“添加仪表盘”。
      4. 在弹出的“新建仪表盘”对话框中，设置相关参数。
         将仪表盘绑定到事先创建的应用，后续可以在“应用监控”页面可视化监控应用的关键指标。

         图6 新建仪表盘
         
      5. 设置完成，单击“创建”。
   2. 为仪表盘添加可视化图表。
      1. 在仪表盘列表中，单击已创建的仪表盘。
      2. 进入对应仪表盘页面，单击页面右上角的，为该仪表盘添加图表。请根据需要，选择合适的图表。

         表3 添加图表

         添加图表类型	数据来源	使用场景
         请添加指标图表	指标数据	业务层、应用层、Prometheus 中间件等指标。
         请添加日志图表	日志数据	监控业务指标或其他日志指标，如基于ELB日志清洗出来的接口黄金指标（时延、吞吐和错误）。

         下面以添加“CPU使用率”的指标图表和“延迟”的日志图表为例说明。

         • 添加“CPU使用率”的指标图表。

           选择“CPU使用率”指标，设置完成后，添加的指标图表如图7所示。

           图7 添加指标图表
           
         • 添加“延迟”的日志图表。单击“日志源”，设置日志图表的相关参数。
           可直接从图表中获取SQL查询语句：

           1. 在图表展示区右上方单击“展开图表”。
              图8 展开图表
              
           2. 在“可视化图表”列表中选择需要监控的日志指标，例如“延迟”，如图9所示。
              图9 选择日志指标
              
           3. 该指标对应的查询语句会自动填充到SQL语句设置区。
           参数设置完成后，单击“添加至仪表盘”。添加的日志图表如图10所示。

           图10 添加日志图表
           
      3. 可重复上面的操作为仪表盘添加多个可视化图表。添加完成后，单击，保存仪表盘。