建设完整指标体系,实现立体化监控
本文档介绍如何建设完整的指标体系和统一监控大盘,实现资源和应用的全方位、立体化、可视化监控。
实践场景
用户体验至上的互联网时代,页面的响应速度、访问时延和页面的访问成功率常常会影响用户的体验,如果无法及时获知,就会导致流失大量用户,某商城的运维人员使用开源的监控软件,虽然能采集很多指标,但却分散在各处,无法统一展示。
解决方案
AOM能够实现云上应用的一站式立体化运维管理,在接入中心中可以接入需要监控的业务层、应用层、中间件层、基础设施层指标,在仪表盘中实现个性化监控,以及通过统一告警入口配置告警规则,实现业务的日常巡检,保障业务的正常运行。
AOM提供多场景、多层次、多维度指标数据的监控能力,建立了从基础设施层指标、中间件层指标、应用层指标到业务层指标的四层指标体系,将1000+种指标数据全方位呈现,数据丰富全面。
类型 |
来源 |
指标举例 |
如何接入 |
---|---|---|---|
业务层指标 |
通常来源于端侧日志SDK、提取的ELB日志。 |
访问UV、访问PV、访问延时、访问失败率、访问流量情况等 |
|
通常来源于事务监控或上报的自定义指标。 |
URL的调用次数、URL的最大并发数、URL的最大响应时间等 |
||
应用层指标 |
通常来源于组件性能图表或接口性能数据。 |
接口调用次数、请求平均时延、错误调用次数、请求吞吐量等 |
|
中间件指标 |
通常来源于原生中间件或云中间件数据。 |
文件系统容量、文件系统使用率等 |
|
基础设施层指标 |
通常来源于容器或云服务相关数据,例如计算、存储、网络、数据库等。 |
CPU使用率、内存使用率、健康状态等 |
前提条件
- 已将ELB日志接入LTS。
- 已为环境关联ECS资源。
步骤一:建设四层指标体系
- 接入业务层指标。
- 登录AOM 2.0控制台。
- 在左侧导航栏中选择“接入中心”。
- 在右侧“业务层”面板单击需要接入的指标卡片。
- 接入应用层指标。
- 接入中间件指标。
- 将数据上传到ECS服务器。
- 下载mysqld_exporter-0.14.0.linux-amd64.tar.gz软件包,下载地址:https://prometheus.io/download/。
- 以root用户登录ECS服务器,将下载的Exporter软件包上传到ECS服务器并解压。
- 登录RDS 控制台,在“实例管理”界面实例列表中单击一个RDS实例名。在“基本信息”界面查看RDS安全组。
图5 查看RDS安全组
- 检查RDS的安全组是否已开放3306端口。
图6 检查RDS端口是否开放
- 执行以下命令,进入解压文件夹,并在ECS服务器上配置mysql.cnf文件。
cd mysqld_exporter-0.14.0.linux-amd64 vi mysql.cnf
例如,在mysql.cnf文件中添加如下内容:
[client]
user=root(rds用户名)
password=****(rds密码)
host=192.168.0.198(rds公网IP)
port=3306(端口)
- 执行以下命令,启动mysqld_exporter工具。
nohup ./mysqld_exporter --config.my-cnf="mysql.cnf" --collect.global_status --collect.global_variables &
- 执行以下命令,确认工具是否正常启动。
curl http://127.0.0.1:9104/metrics
如果回显信息如图7所示,能够查看到指标则说明工具启动正常。
- 通过虚机接入方式接入中间件指标。
- 登录AOM 2.0控制台。
- 在左侧导航栏中选择“接入中心”,在右侧“中间件”面板单击需要接入的指标卡片。
- 在“虚机接入”界面为ECS服务器安装UniAgent采集工具,具体操作请参见手动安装UniAgent。
- 为创建的“phoenixenv1”环境创建中间件采集任务。在左侧导航栏中,选择“采集任务”,单击“创建采集任务”。
图8 创建采集任务
- 在创建采集任务页面中,配置相关参数信息。
关键配置项说明如下:
- Exporter地址/REDIS_Exporter地址/MySQL_Exporter地址:安装Exporter/REDIS_Exporter/MySQL_Exporter的主机IP地址和端口号。格式为IP:Port,例如:127.0.0.1:9104。
- 中间件地址/REDIS 地址/MySQL 地址:Exporter/REDIS_Exporter/MySQL_Exporter启动实例监控的主机/REDIS/MySQL,通常填写主机/REDIS/MySQL的IP地址。
- 指标:待采集的指标。默认为:''(单引号)表示输出原本的所有指标。如果需对采集指标进行过滤,则按如下格式进行填写,例如:'metric1, metric2'。
- 指标维度:新增采集指标维度。单击,输入指标维度名和指标维度值,字符长度不超过20个字符。最多可添加10个标签。例如:指标维度名为label1,指标维度值为label2,则添加成功后为label1:"label2"。
图9 配置采集参数-1
图10 配置采集参数-2
- 完成后,单击“立即创建”。
- 接入完成后,在左侧导航栏,选择“指标浏览”。在右侧区域通过选择指标的方式查看接入的中间件指标,如图11所示。
- 将数据上传到ECS服务器。
- 接入基础设施层指标。
- 登录AOM 2.0控制台。
- 在左侧导航栏中选择“接入中心”。
- 在右侧“运行环境”与“云服务”面板单击需要接入的指标卡片。
- 选择容器指标卡片:
- 在“插件市场”界面搜索找到云原生监控插件,单击“安装”。
图12 查找云原生监控插件
- 设置集群名称、规格信息。
- 开启对接第三方开关,将普罗数据上报至AOM,填写上报AOM的地址及token,并跳过证书认证。
图13 设置对接第三方参数
参数说明如下:- 数据上报地址 :https://aom-internal-access.{region_name}.myhuaweicloud.com:8443/v1/{project_id}/push,其中region_name为指定承载REST服务端点的服务器域名或IP,project_id 为项目的ID,您可以单击右上方的用户名称,在下拉列表中选择“我的凭证”。在“我的凭证”页面中选择“API凭证”页签。从右侧项目列表的“项目”和“项目ID”信息中获取。例如AOM服务在“华北-北京一”区域名称为“cn-north-1”。
- Token:登录AOM 2.0控制台,在左侧导航栏选择“管理 > 全局配置”,单击“认证管理”,从右侧AccessCode列表的“ID”信息中获取。
- 设置完成后,单击“安装”。安装完后单击插件查看安装状态,当状态都为“运行中”则表示插件安装成功。
图14 安装kube-prometheus-stack插件
- 在“插件市场”界面搜索找到云原生监控插件,单击“安装”。
- 选择云服务监控指标卡片:
- 在弹出的“云服务接入”对话框中选择需要监控的云服务。例如RDS或DCS服务。
- 单击“确定”完成接入。
接入完成后,系统自动跳转至“云服务监控”页面,即可查看已选择的云服务运行状态等信息。
- 选择容器指标卡片:
- 接入完成后,在左侧导航栏选择“指标浏览”。在右侧区域通过选择指标的方式查看接入的基础设施层指标,如图15所示。
步骤二:配置统一监控大盘
- 创建指标告警规则。
通过指标告警规则可对资源的指标设置阈值条件。当指标数据满足阈值条件时产生阈值告警,当没有指标数据上报时产生数据不足事件。
按照配置方式的不同,创建指标告警规则可分为三种:按资源类型创建、按全量指标创建和按Prometheus命令创建。下面的操作以按资源类型创建为例说明。
- 登录AOM 2.0控制台。
- 在左侧导航栏中选择“告警管理 > 告警规则”。
- 单击“创建告警规则”。
- 设置告警规则的规则名称等基本信息。
- 设置告警规则的详细信息。
- 设置告警通知策略。告警通知策略有两种方式,此处选择直接告警方式。
- 单击“立即创建”,完成创建。创建完成后,单击“返回告警规则列表”可查看已创建的告警规则。
如下图所示,创建了一条指标告警规则,单击规则名称前的,可查看该告警规则的详细信息。
在展开的列表中,只要某个主机的CPU使用率满足设置的告警条件时,在告警界面就会生成一条指标类告警,您可在左侧导航栏中选择“告警管理 > 告警列表”,在告警列表中查看该告警。只要某个主机满足已设的通知策略,系统就会以邮件、短信或企业微信等方式发送告警通知给指定人员。
图18 创建指标告警规则
- 创建仪表盘。
- 新建仪表盘。
- 登录AOM 2.0控制台。
- 在左侧导航栏选择“仪表盘”。
- 单击列表左上角的“创建仪表盘”。
- 在弹出的“新建仪表盘”对话框中,设置相关参数。
- 设置完成,单击“创建”。
- 为仪表盘添加可视化图表。
- 在仪表盘列表中,单击已创建的仪表盘。
- 进入对应仪表盘页面,单击页面右上角的,为该仪表盘添加图表。请根据需要,选择合适的图表。
表2 添加图表 添加图表类型
数据来源
使用场景
请添加指标图表
指标数据
监控基础设施层、中间件、应用层和业务层指标。
请添加日志图表
日志数据
监控业务指标或其他日志指标,如基于ELB日志清洗出来的接口黄金指标(时延、吞吐和错误)。
请添加系统图表
系统数据
监控服务的告警情况,或阈值、主机、组件状态等。
- 可重复上面的操作为仪表盘添加多个可视化图表。添加完成后,单击,保存仪表盘,如图24所示。
- 新建仪表盘。