安装配置CES Exporter
Prometheus是用于展示大型测量数据的开源可视化工具,在工业监控、气象监控、家居自动化和过程管理等领域也有着较广泛的用户基础。将华为云Cloud Eye服务接入Prometheus后,您可以利用Prometheus更好地监控和分析来自Cloud Eye服务的数据。将服务接入Prometheus前,需要先安装配置CES Exporter。
拓展标签支持情况
该插件对于已对接云监控的云服务均支持指标数据的导出。为提高云服务资源的识别度、可读性,插件对于以下服务支持导出资源属性label,如ECS实例会增加hostname、ip等label,同时支持将华为云标签转化为label,满足对资源自定义label的诉求,具体如下表所示。
云服务 |
命名空间 |
是否支持拓展标签 |
标签数据来源 |
---|---|---|---|
弹性云服务器 |
SYS.ECS/AGT.ECS |
√ |
配置审计或弹性云服务器 |
云硬盘 |
SYS.EVS |
√ |
配置审计或云硬盘 |
分布式缓存服务 |
SYS.DCS |
√ |
配置审计 |
云专线 |
SYS.DCAAS |
√ |
配置审计 |
弹性公网IP和带宽 |
SYS.VPC |
√ |
配置审计 |
云搜索服务 |
SYS.ES |
√ |
配置审计 |
关系型数据库 |
SYS.RDS |
√ |
配置审计 |
弹性负载均衡 |
SYS.ELB |
√ |
弹性负载均衡 |
云数据库 GaussDB(for MySQL) |
SYS.GAUSSDB |
√ |
配置审计 |
云数据库 GaussDB(for openGauss) |
SYS.GAUSSDBV5 |
√ |
云数据库 GaussDB(for openGauss) |
NAT网关 |
SYS.NAT |
√ |
配置审计 |
弹性伸缩 |
SYS.AS |
√ |
配置审计 |
函数工作流 |
SYS.FunctionGraph |
√ |
配置审计 |
数据复制服务 |
SYS.DRS |
√ |
配置审计 |
Web应用防火墙 |
SYS.WAF |
√ |
配置审计 |
文档数据库服务 |
SYS.DDS |
√ |
文档数据库服务 |
API网关 |
SYS.APIG |
× |
API网关 |
云备份 |
SYS.CBR |
√ |
配置审计或云备份 |
数据湖探索 |
SYS.DLI |
√ |
配置审计&数据湖探索 |
弹性文件服务 |
SYS.SFS |
× |
弹性文件服务 |
弹性文件服务 SFS Turbo |
SYS.EFS |
√ |
配置审计 |
虚拟专用网络 |
SYS.VPN |
√ |
配置审计 |
云数据迁移 |
SYS.CDM |
× |
云数据迁移 |
数据仓库服务 |
SYS.DWS |
√ |
数据仓库服务 |
内容审核Moderation |
SYS.MODERATION |
× |
- |
Anti-DDoS流量清洗 |
SYS.DDOS |
√ |
配置审计 |
云数据库GaussDB(for NoSQL) |
SYS.NoSQL |
× |
云数据库GaussDB(for NoSQL) |
分布式消息服务 |
SYS.DMS |
√ |
配置审计 |
分布式数据库中间件 |
SYS.DDMS |
× |
配置审计&分布式数据库中间件 |
API专享版网关 |
SYS.APIC |
× |
API专享版网关 |
裸金属服务器 |
SYS.BMS/SERVICE.BMS |
√ |
配置审计 |
ModelArts |
SYS.ModelArts |
√ |
配置审计 |
VPC终端节点 |
SYS.VPCEP |
√ |
配置审计 |
图引擎服务GES |
SYS.GES |
√ |
配置审计 |
数据库安全服务DBSS |
SYS.DBSS |
√ |
配置审计 |
MapReduce服务 |
SYS.MRS |
√ |
配置审计或MapReduce服务 |
湖仓构建服务 |
SYS.LakeFormation |
√ |
配置审计或湖仓构建服务 |
数据治理中心 |
SYS.DAYU |
√ |
数据治理中心 |
云防火墙 |
SYS.CFW |
√ |
配置审计 |
自定义标签时,key只能包含大写字母、小写字母以及中划线。
环境准备
以Ubuntu 18.04系统和Prometheus 2.14.0版本为例。
环境条件 |
描述 |
---|---|
Prometheus |
prometheus-2.14.0.linux-amd64 |
ECS操作系统 |
Ubuntu 18.04 |
ECS私网IP |
192.168.0.xx |
对于需要导出监控数据的账号,要求具有IAM,CES,Config,EPS服务的读权限,另外获取哪些服务的监控数据就需要有哪些服务的读权限。
安装配置cloudeye-exporter
- 在Ubuntu ECS实例上安装cloudeye-exporter。
在github的cloudeye-exporter开源项目https://github.com/huaweicloud/cloudeye-exporter/releases,查看插件Release版本,并获取插件下载地址,随后登录ECS机器,通过该地址下载安装。
参考命令:
mkdir cloudeye-exporter cd cloudeye-exporter wget https://github.com/huaweicloud/cloudeye-exporter/releases/download/v2.0.5/cloudeye-exporter.v2.0.5.tar.gz tar -xzvf cloudeye-exporter.v2.0.5.tar.gz
- 编辑clouds.yml文件配置公有云信息。
global: port: "{private IP}:8087" # 监听端口 :出于安全考虑,建议不将expoter服务端口暴露到公网,建议配置为127.0.0.1:{port},或{内网ip}:{port},例如:192.168.1.100:8087;如业务需要将该端口暴露到公网,请确保合理配置安全组,防火墙,iptables等访问控制策略,确保最小访问权限 scrape_batch_size: 300 resource_sync_interval_minutes: 20 # 资源信息更新频率:默认180分钟更新一次;该配置值小于10分钟,将以10分钟1次为资源信息更新频率 ep_ids: "xxx1,xxx2" # 可选配置,根据企业项目ID过滤资源,不配置默认查询所有资源的指标,多个ID使用英文逗号进行分割。 logs_conf_path: "/root/logs.yml" # 可选配置,指定日志配置文件路径,建议使用绝对路径。若未指定,程序将默认使用执行启动命令所在目录下的日志配置文件。 metrics_conf_path: "/root/metric.yml" # 可选配置,指定指标配置文件路径,建议使用绝对路径。若未指定,程序将默认使用执行启动命令所在目录下的指标配置文件。 endpoints_conf_path: "/root/endpoints.yml" # 可选配置,指定服务域名配置文件路径,建议使用绝对路径。若未指定,程序将默认使用执行启动命令所在目录下的服务域名配置文件。 ignore_ssl_verify: false # 可选配置,exporter查询资源/指标时默认校验ssl证书;若用户因ssl证书校验导致功能异常,可将该配置项配置为true跳过ssl证书校验 auth: auth_url: "https://iam.{region_id}.myhuaweicloud.com/v3" project_name: "cn-north-1" # 华为云项目名称,可以在“华为云->统一身份认证服务->项目”中查看 access_key: "" # IAM用户访问密钥,使用脚本将ak sk解密后传入,避免因在配置文件中明文配置AK SK而引发信息泄露 secret_key: "" region: "cn-north-1" # 区域ID
默认的监控端口为8087。
- 启动cloudeye-exporter。
默认读取cloudeye-exporter下的clouds.yml文件,也可使用-config参数指定clouds.yml文件路径。
./cloudeye-exporter -config=clouds.yml
出于安全考虑cloudeye-exporter提供了-s参数, 可以通过命令行交互的方式输入ak sk避免明文配置在clouds.yml文件中引起泄露。
./cloudeye-exporter -s true
下面是shell脚本启动的样例,建议在脚本中配置加密后的ak&sk,并通过您自己的解密方法对ak sk进行解密后通过huaweiCloud_AK和huaweiCloud_SK参数传入cloudeye-exporter。
#!/bin/bash ## 为了防止您的ak&sk泄露,不建议在脚本中配置明文的ak sk huaweiCloud_AK=your_decrypt_function("加密的AK") huaweiCloud_SK=your_decrypt_function("加密的SK") $(./cloudeye-exporter -s true<<EOF $huaweiCloud_AK $huaweiCloud_SK EOF)