将监控数据导出到自建Prometheus/Grafana
Prometheus是用于展示大型测量数据的开源可视化工具,在工业监控、气象监控、家居自动化和过程管理等领域也有着较广泛的用户基础。将华为云Cloud Eye服务接入Prometheus后,您可以利用Prometheus更好地监控和分析来自Cloud Eye服务的数据。
Grafana是一个开源的可视化和分析平台,支持多种数据源,提供多种面板和插件,能够快速地将复杂的数据转换为漂亮的图形和可视化的工具。将华为云Cloud Eye服务接入Prometheus后,您可以利用Grafana更好地分析和展示来自Cloud Eye服务的数据。
前提条件
已安装配置CES Exporter,具体操作步骤请参阅通过AK/SK认证模式安装配置CES Exporter或通过OIDC认证模式安装配置CES Exporter。
约束与限制
CES Exporter拉取的数据来源于云服务指标上报。若云服务出现上报延迟,Exporter获取不到最新的指标数据,可能导致Grafana看板指标与CES控制台指标之间存在短暂差异。
下载并配置Prometheus
- 获取适用于当前系统的Prometheus安装包地址,下载地址请参见:https://prometheus.io/download/。
- 使用root用户登录已部署CES Exporter的服务器。
- 执行以下命令下载Prometheus,以prometheus-3.8.1.linux-amd64.tar.gz为例:
wget https://github.com/prometheus/prometheus/releases/download/v3.8.1/prometheus-3.8.1.linux-amd64.tar.gz
- 执行以下命令解压Prometheus。
tar xvfz prometheus-3.8.1.linux-amd64.tar.gz
- 进入Prometheus目录,配置prometheus.yml文件,对接CES Exporter。
cd prometheus-3.8.1.linux-amd64 vi prometheus.yml
以监控VPC和RDS为例,在scrape_configs下新增job_name名为“huaweicloud”的节点。其中targets中配置的是访问CES Exporter服务的ip地址和端口号,services配置的是需要监控的服务的命名空间,各云服务命名空间请参阅云产品监控指标。global: scrape_interval: 1m scrape_timeout: 1m scrape_configs: - job_name: 'huaweicloud-VPC' static_configs: - targets: ['192.168.0.xx:8087'] params: services: ['SYS.VPC'] - job_name: 'huaweicloud-RDS' static_configs: - targets: ['192.168.0.xx:8087'] params: services: ['SYS.RDS'] - job_name: "prometheus-eps" metrics_path: '/eps-info' # static_configs: - targets: ["192.168.0.xx:8087"] params: services: []
- 如果查询的资源使用了企业项目标签或者在配置Grafana时使用的模板为CES提供的看板模板,scrape_configs需要增加企业项目相关的请求配置。
- job_name: "prometheus-eps" metrics_path: '/eps-info' static_configs: - targets: ["192.168.0.xx:8087"] params: services: [] - 当需要监控多个云服务时,为了提高数据查询效率,建议每个服务配置单独配置一个job。
表1 global参数说明 参数
参数说明
取值样例
scrape_interval
设置Prometheus从Exporter查询数据的间隔时间,Prometheus配置文件中默认为15s,建议设置为1m。
1m
scrape_timeout
设置从Exporter查询数据的超时时间,Prometheus配置文件中默认为15s,建议设置为1m。
1m
表2 scrape_configs参数说明 参数
参数说明
取值样例
job_name
任务名称。
huaweicloud-VPC
metrics_path
获取企业项目信息时,需要配置指标路径,取值为“/eps-info”。
/eps-info
static_configs
静态配置目标,配置CES Exporter节点地址:监听端口
- targets: ['192.168.0.xx:8087']
params
服务参数,当前任务需要查询的服务命名空间。
services: ['SYS.VPC']
- 如果查询的资源使用了企业项目标签或者在配置Grafana时使用的模板为CES提供的看板模板,scrape_configs需要增加企业项目相关的请求配置。
- 执行以下命令,启动Prometheus。
./prometheus
Grafana接入Prometheus数据源
本节以Grafana v12.4.1为例,为您介绍Grafana接入Prometheus数据源的操作步骤。
- 下载并安装适用于当前系统的Grafana,操作步骤请参阅https://grafana.com/grafana/download。
- 打开浏览器,登录Grafana,本地默认登录地址为:http://127.0.0.1:3000。
如果登录系统与安装Grafana的系统不同,登录地址为 http://{安装Grafana主机的公网IP}:3000。
图1 登录Grafana
- 配置Prometheus数据源。
- 在Grafana界面左侧导航栏选择“Connections > Data sources”。
- 在“Data sources”页面,单击“Add data source”。
- 数据源类型选择“Prometheus”。
- 在“Settings”页签下的“Prometheus server URL”参数中输入Prometheus地址。
本地默认登录Prometheus地址为:http://127.0.0.1:9090,如果Prometheus与登录Grafana的系统不同,登录地址应为 http://{Prometheus所在主机的公网IP}:9090。
图2 配置Prometheus数据源
- 在页面底部,单击“Sava & test”。
- 配置云服务监控视图。
推荐用户使用CES提供的模板,各云服务模板文件获取地址:https://github.com/huaweicloud/cloudeye-exporter/tree/br_release_sdk_v3/grafana_dashboard/templates
在CES Exporter 2.0.32及以上版本中,针对Agent采集的磁盘维度指标添加了evsId字段(该字段仅适用于云硬盘磁盘)。Windows操作系统不支持该字段。
- 在Grafana界面左侧导航栏单击“Dashboards”。
- 在“Dashboards”页面,单击右上角“New > Import”
- 在“Import dashboard”页面,单击“Upload dashboard JSON file”。
- 在“DS_PROMETHEUS”选择步骤3配置的数据源。 图3 导入JSON模板
- 单击“Import”。
- 配置完成后,效果如下图所示。 图4 效果图