安装配置CES Exporter
Prometheus是用于展示大型测量数据的开源可视化工具，在工业监控、气象监控、家居自动化和过程管理等领域也有着较广泛的用户基础。将华为云Cloud Eye服务接入Prometheus后，您可以利用Prometheus更好地监控和分析来自Cloud Eye服务的数据。将服务接入Prometheus前，需要先安装配置CES Exporter。
拓展标签支持情况
该插件对于已对接云监控的云服务均支持指标数据的导出。为提高云服务资源的识别度、可读性，插件对于以下服务支持导出资源属性label，如ECS实例会增加hostname、ip等label，同时支持将华为云标签转化为label，满足对资源自定义label的诉求，具体如下表所示。
|
云服务 |
命名空间 |
是否支持拓展标签 |
标签数据来源 |
|---|---|---|---|
|
弹性云服务器 |
SYS.ECS/AGT.ECS |
√ |
配置审计或弹性云服务器 |
|
云硬盘 |
SYS.EVS |
√ |
配置审计或云硬盘 |
|
分布式缓存服务 |
SYS.DCS |
√ |
配置审计 |
|
云专线 |
SYS.DCAAS |
√ |
配置审计 |
|
虚拟私有云 |
SYS.VPC |
√ |
配置审计 |
|
云搜索服务 |
SYS.ES |
√ |
配置审计 |
|
关系型数据库 |
SYS.RDS |
√ |
配置审计 |
|
弹性负载均衡 |
SYS.ELB |
√ |
弹性负载均衡 |
|
云数据库 TaurusDB |
SYS.GAUSSDB |
√ |
配置审计 |
|
云数据库 GaussDB(for openGauss) |
SYS.GAUSSDBV5 |
√ |
云数据库 GaussDB(for openGauss) |
|
NAT网关 |
SYS.NAT |
√ |
配置审计 |
|
弹性伸缩 |
SYS.AS |
√ |
配置审计 |
|
函数工作流 |
SYS.FunctionGraph |
√ |
配置审计 |
|
数据复制服务 |
SYS.DRS |
√ |
配置审计 |
|
Web应用防火墙 |
SYS.WAF |
√ |
配置审计 |
|
文档数据库服务 |
SYS.DDS |
√ |
文档数据库服务 |
|
API网关 |
SYS.APIG |
× |
API网关 |
|
云备份 |
SYS.CBR |
√ |
配置审计或云备份 |
|
数据湖探索 |
SYS.DLI |
√ |
配置审计&数据湖探索 |
|
弹性文件服务 |
SYS.SFS |
× |
弹性文件服务 |
|
弹性文件服务 SFS Turbo |
SYS.EFS |
√ |
配置审计 |
|
虚拟专用网络 |
SYS.VPN |
√ |
配置审计 |
|
云数据迁移 |
SYS.CDM |
× |
云数据迁移 |
|
数据仓库服务 |
SYS.DWS |
√ |
数据仓库服务 |
|
内容审核Moderation |
SYS.MODERATION |
× |
- |
|
Anti-DDoS流量清洗 |
SYS.DDOS |
√ |
配置审计 |
|
云数据库GeminiDB(for NoSQL) |
SYS.NoSQL |
× |
云数据库GeminiDB(for NoSQL) |
|
分布式消息服务 |
SYS.DMS |
√ |
配置审计 |
|
分布式数据库中间件 |
SYS.DDMS |
× |
配置审计&分布式数据库中间件 |
|
API专享版网关 |
SYS.APIC |
× |
API专享版网关 |
|
裸金属服务器 |
SYS.BMS/SERVICE.BMS |
√ |
配置审计 |
|
ModelArts |
SYS.ModelArts |
√ |
配置审计 |
|
VPC终端节点 |
SYS.VPCEP |
√ |
配置审计 |
|
图引擎服务GES |
SYS.GES |
√ |
配置审计 |
|
数据库安全服务DBSS |
SYS.DBSS |
√ |
配置审计 |
|
MapReduce服务 |
SYS.MRS |
√ |
配置审计或MapReduce服务 |
|
湖仓构建服务 |
SYS.LakeFormation |
√ |
配置审计或湖仓构建服务 |
|
数据治理中心 |
SYS.DAYU |
√ |
数据治理中心 |
|
云防火墙 |
SYS.CFW |
√ |
配置审计 |
|
广域网质量监控 |
SYS.WANQMonitor |
√ |
云监控 |
|
云日志服务 |
SYS.LTS |
× |
云日志服务 |
|
视频直播 |
SYS.LIVE |
× |
视频直播 |
|
云原生应用网络 |
SYS.ANC |
√ |
配置审计 |
|
企业主机安全 |
SYS.HSS |
× |
企业主机安全 |
|
表格存储服务 |
SYS.CloudTable |
× |
表格存储服务 |
|
事件网格 |
SYS.EG |
√ |
配置审计 |
|
对象存储服务 |
SYS.OBS |
√ |
配置审计 |
|
云解析服务 |
SYS.DNS |
√ |
云解析服务 |
|
企业门户 |
SYS.EWP |
√ |
企业门户 |
|
企业路由器 |
SYS.ER |
√ |
配置审计 |
自定义标签时，key只能包含大写字母、小写字母、数字以及下划线，并且不能以数字开头。
环境准备
以Ubuntu 18.04系统和Prometheus 2.14.0版本为例。
|
环境条件 |
描述 |
|---|---|
|
Prometheus |
prometheus-2.14.0.linux-amd64 |
|
ECS操作系统 |
Ubuntu 18.04 |
|
ECS私网IP |
192.168.0.xx |
安装配置cloudeye-exporter
- 在Ubuntu ECS实例上安装cloudeye-exporter。
在github的cloudeye-exporter开源项目https://github.com/huaweicloud/cloudeye-exporter/releases，查看插件Release版本，并获取插件下载地址，随后登录ECS机器，通过该地址下载安装。
参考命令：
mkdir cloudeye-exporter cd cloudeye-exporter wget https://github.com/huaweicloud/cloudeye-exporter/releases/download/${version}/cloudeye-exporter-${version}.tar.gz tar -xzvf cloudeye-exporter-${version}.tar.gz - 编辑clouds.yml文件配置公有云信息。
global: port: "{private IP}:8087" # 监听端口 :出于安全考虑，建议不将Exporter服务端口暴露到公网，建议配置为127.0.0.1:{port}，或{内网ip}:{port}，例如：192.168.1.100:8087；如业务需要将该端口暴露到公网，请确保合理配置安全组，防火墙，iptables等访问控制策略，确保最小访问权限 scrape_batch_size: 300 resource_sync_interval_minutes: 20 # 资源信息更新频率：默认180分钟更新一次；该配置值小于10分钟，将以10分钟1次为资源信息更新频率 ep_ids: "xxx1,xxx2" # 可选配置，根据企业项目ID过滤资源，不配置默认查询所有资源的指标，多个ID使用英文逗号进行分隔。 logs_conf_path: "/root/logs.yml" # 可选配置，指定日志配置文件路径，建议使用绝对路径。若未指定，程序将默认使用执行启动命令所在目录下的日志配置文件。 metrics_conf_path: "/root/metric.yml" # 可选配置，指定指标配置文件路径，建议使用绝对路径。若未指定，程序将默认使用执行启动命令所在目录下的指标配置文件。 endpoints_conf_path: "/root/endpoints.yml" # 可选配置，指定服务域名配置文件路径，建议使用绝对路径。若未指定，程序将默认使用执行启动命令所在目录下的服务域名配置文件。 ignore_ssl_verify: false # 可选配置，exporter查询资源/指标时默认校验ssl证书；若用户因ssl证书校验导致功能异常，可将该配置项配置为true跳过ssl证书校验 auth: auth_url: "https://iam.{region_id}.myhuaweicloud.com/v3" project_name: "cn-north-1" # 华为云项目名称，可以在“华为云->统一身份认证服务->项目”中查看 access_key: "" # IAM用户访问密钥，使用脚本将ak sk解密后传入，避免因在配置文件中明文配置AK SK而引发信息泄露 secret_key: "" region: "cn-north-1" # 区域ID
默认的监控端口为8087。
- 启动cloudeye-exporter。
默认读取cloudeye-exporter下的clouds.yml文件，也可使用-config参数指定clouds.yml文件路径。
./cloudeye-exporter -config=clouds.yml
出于安全考虑cloudeye-exporter提供了-s参数, 可以通过命令行交互的方式输入ak sk避免明文配置在clouds.yml文件中引起泄露。
./cloudeye-exporter -s true
下面是shell脚本启动的样例，建议在脚本中配置加密后的ak&sk，并通过您自己的解密方法对ak sk进行解密后通过huaweiCloud_AK和huaweiCloud_SK参数传入cloudeye-exporter。
#!/bin/bash ## 为了防止您的ak&sk泄露，不建议在脚本中配置明文的ak sk huaweiCloud_AK=your_decrypt_function("加密的AK") huaweiCloud_SK=your_decrypt_function("加密的SK") $(./cloudeye-exporter -s true<<EOF $huaweiCloud_AK $huaweiCloud_SK EOF)
CES Exporter导出监控数据依赖的接口及授权项
如果需要导出云服务的监控数据，请确保账号拥有表3中列举的基础权限。部分服务在导出监控数据时，除了基础权限外，还需要对应云服务的特定权限，云服务及其对应的权限信息请参见表4。
|
服务 |
授权项 |
接口 |
接口说明 |
|---|---|---|---|
|
IAM |
iam:projects:listProjects |
/v3/projects |
查询指定条件下的项目列表。 |
|
IAM |
任意一个全局类权限。 |
/v3/auth/domains |
查询IAM用户可以访问的账号详情 |
|
CES |
ces:namespacesDimensions:list |
/v2/{project_id}/instances/{instance_id}/agent-dimensions |
查询主机监控维度指标信息 |
|
CES |
ces:metrics:list |
/V1.0/{project_id}/metrics |
查询系统当前可监控指标列表 |
|
CES |
ces:metricData:list |
/V1.0/{project_id}/batch-query-metric-data |
批量查询指定时间范围内指定指标的指定粒度的监控数据 |
|
Config |
rms:resources:list |
/v1/resource-manager/domains/{domain_id}/provider/{provider}/type/{type}/resource |
列举指定类型的资源 |
|
EPS |
eps:enterpriseProjects:list |
/v1.0/enterprise-projects |
查询企业项目列表 |
|
服务 |
授权限 |
接口 |
接口说明 |
|---|---|---|---|
|
APIC |
apig:instances:list |
/v2/{project_id}/apigw/instances |
查询专享版实例列表 |
|
apig:apis:list |
/v2/{project_id}/apigw/instances/{instance_id}/apis |
查看API列表 |
|
|
apig:instances:get |
/v2/{project_id}/apigw/instances/{instance_id} |
查看API网关专享版实例 |
|
|
apig:apps:list |
/v2/{project_id}/apigw/instances/{instance_id}/apps |
查看应用列表 |
|
|
apig:groups:list |
/v2/{project_id}/apigw/instances/{instance_id}/api-groups |
查看API分组列表 |
|
|
apig:plugins:list |
/v2/{project_id}/apigw/instances/{instance_id}/plugins |
查看插件列表 |
|
|
CBR |
cbr:vaults:list |
/v3/{project_id}/vaults |
查询存储库列表 |
|
CC |
cc:cloudConnections:list |
/v3/{domain_id}/ccaas/cloud-connections |
查询云连接列表 |
|
cc:bandwidthPackages:list |
/v3/{domain_id}/ccaas/bandwidth-packages |
查询带宽包列表 |
|
|
cc:interRegionBandwidths:list |
/v3/{domain_id}/ccaas/inter-region-bandwidths |
查询域间带宽列表 |
|
|
CDM |
cdm:cluster:list |
/v1.1/{project_id}/clusters |
查询集群列表 |
|
CloudTable |
cloudtable:cluster:list |
/v2/{project_id}/clusters |
查询集群列表 |
|
DAYU(DIS) |
dis:stream:list |
/v2/{project_id}/streams |
查询通道列表 |
|
DDMS |
ddm:instance:list |
/v1/{project_id}/instances |
查询DDM实例列表 |
|
DDOS |
cnad:package:list |
/v1/cnad/packages |
查询实例列表 |
|
cnad:protectedIp:list |
/v1/cnad/protected-ips |
查询防护对象列表 |
|
|
DDS |
dds:instance:list |
/v3/{project_id}/instances |
查询实例列表 |
|
DLI |
dli:jobs:listAll |
/v1.0/{project_id}/streaming/jobs |
查询flink作业列表 |
|
dli:elasticresourcepool:list |
/v3/{project_id}/elastic-resource-pools |
查询所有弹性资源池 |
|
|
DWS |
dws:openAPICluster:list |
/v1.0/{project_id}/clusters |
查询集群列表 |
|
ELB |
elb:loadbalancers:list |
/v3/{project_id}/elb/loadbalancers |
查询负载均衡器列表 |
|
elb:listeners:list |
/v3/{project_id}/elb/listeners |
查询listener列表 |
|
|
elb:pools:list |
/v3/{project_id}/elb/pools |
查询后端云服务器组列表 |
|
|
elb:availability-zones:list |
/v3/{project_id}/elb/availability-zones |
查询可用区列表 |
|
|
GaussDBV5 |
gaussdb:instance:list |
/v3/{project_id}/instances |
查询数据库实例列表 |
|
GCB |
cc:gcbandwidths:list |
/v3/{domain_id}/gcb/gcbandwidths |
查询全域互联带宽列表 |
|
LTS |
lts:groups:list |
/v2/{project_id}/groups |
查询账号下所有日志组 |
|
lts:topics:list |
/v2/{project_id}/groups/{log_group_id}/streams |
查询指定日志组下的所有日志流 |
|
|
LakeFormation |
lakeformation:instance:list |
/v1/{project_id}/instances |
查询实例列表 |
|
ModelArts |
modelarts:service:get |
/v1/{project_id}/services/{service_id} |
查询模型服务详情 |
|
MRS |
mrs:cluster:list |
/v1.1/{project_id}/cluster_infos |
查询集群列表（V1） |
|
NoSQL |
nosql:instance:list |
/v3/{project_id}/instances |
查询实例列表和详情 |
|
SFS |
sfs:shares:getShare |
/v2/{project_id}/shares |
查询所有共享 |
|
WAF(Premium) |
waf:premiumInstance:list |
/v1/{project_id}/premium-waf/instance |
查询WAF独享引擎列表 |
