Memcached Exporter接入AOM实现指标监控
应用场景
使用Memcached过程中需要对Memcached运行状态进行监控,以便了解Memcached服务是否运行正常,排查Memcached故障等。Prometheus监控服务提供了CCE容器场景下基于Exporter的方式来监控Memcached运行状态。本文为您介绍如何使用Prometheus监控服务Memcached。
为了方便安装管理Exporter,推荐使用CCE进行统一管理。
前提条件
- CCE服务已拥有CCE集群,已安装Memcached。
- 服务已接入可观测Prometheus监控并接入CCE集群,具体请参见Prometheus实例 for CCE。
- 已将memcached_exporter镜像上传到SWR,具体操作请参见使用容器引擎客户端上传镜像。
在CCE集群部署Memcached Exporter
- 登录CCE控制台。
- 单击已接入的CCE集群名称,进入该集群的管理页面。
- 执行以下操作完成Exporter部署。
- 配置密钥。
在左侧导航栏中选择“配置与密钥”,单击页面右上角“YAML创建”。YAML配置示例如下:
apiVersion: v1 kind: Secret metadata: name: memcached-exporter-secret namespace: default type: Opaque stringData: memcachedURI: 120.46.215.4:11211 # Memcached地址
- Memcached 连接串的格式为:http://{ip}:{port}。
- 配置密钥的详细操作参见创建密钥。
- 部署Memcached Exporter。
在左侧导航栏中选择“工作负载”,选择“无状态负载”页签,单击右上角的“YAML创建”,以YAML的方式部署Exporter。
YAML配置示例如下:
apiVersion: apps/v1 kind: Deployment metadata: labels: k8s-app: memcached-exporter # 根据业务需要调整 name: memcached-exporter # 根据业务需要调整 namespace: default spec: replicas: 1 selector: matchLabels: k8s-app: memcached-exporter # 根据业务需要调整 template: metadata: labels: k8s-app: memcached-exporter # 根据业务需要调整 spec: containers: - env: - name: Memcached_Url valueFrom: secretKeyRef: name: memcached-exporter-secret # 对应上一步中的 Secret 的名称 key: memcachedURI # 对应上一步中的 Secret Key - name: Memcached_ALL value: "true" image: swr.cn-east-3.myhuaweicloud.com/aom-org/bitnami/memcached-exporter:0.13.0 #前提条件中上传到swr中的镜像 imagePullPolicy: IfNotPresent name: memcached-exporter ports: - containerPort: 9150 name: metric-port securityContext: privileged: false terminationMessagePath: /dev/termination-log terminationMessagePolicy: File dnsPolicy: ClusterFirst imagePullSecrets: - name: default-secret restartPolicy: Always schedulerName: default-scheduler securityContext: {} terminationGracePeriodSeconds: 30 --- apiVersion: v1 kind: Service metadata: name: memcached-exporter spec: type: NodePort selector: k8s-app: memcached-exporter ports: - protocol: TCP nodePort: 30122 port: 9150 targetPort: 9150
更多Exporter详细参数介绍请参见 memcached_exporter。
- 验证Memcached Exporter是否部署成功。
- 在工作负载列表中“无状态负载”页签下,单击3.b创建的无状态工作负载的名称,在实例列表中单击操作列下的“更多 > 日志”,可以查看到Exporter成功启动并暴露访问地址。
图1 查看日志
- 输入命令验证Memcached Exporter是否部署成功,有指标数据返回则表示Memcached Exporter已部署成功。有以下三种方法进行验证:
- 登录集群节点执行如下任意一种命令:
curl http://{集群IP}:9150/metrics
curl http://{集群任意节点私有IP}:30122/metrics
- 访问地址:http://{集群任意节点的公网IP}:30122/metrics。
图2 访问地址
- 在实例列表中单击操作列下的“更多 > 远程登录”,执行如下命令。
curl http://localhost:9150/metric
图3 执行命令
- 登录集群节点执行如下任意一种命令:
- 在工作负载列表中“无状态负载”页签下,单击3.b创建的无状态工作负载的名称,在实例列表中单击操作列下的“更多 > 日志”,可以查看到Exporter成功启动并暴露访问地址。
- 配置密钥。
配置CCE集群指标采集规则
通过“新增PodMonitor”方式为应用配置可观测监控Prometheus版的采集规则,监控部署在CCE集群内的应用的业务数据。
- 登录AOM 2.0控制台。
- 在左侧菜单栏中选择“Prometheus监控 > 实例列表”。
- 在Prometheus实例列表中,单击CCE类型的Prometheus实例名称,进入该实例的详情界面。
- 在左侧导航栏单击“指标管理”,在“配置”页签下单击“PodMonitor”。
- 单击“新增PodMonitor”,在弹出的对话框中输入PodMonitor的相关参数信息,然后单击“确定”。
采集规则YAML配置样例如下:
apiVersion: monitoring.coreos.com/v1 kind: PodMonitor metadata: name: memcached-exporter namespace: default spec: namespaceSelector: #选择要监控 Exporter Pod 所在的namespace matchNames: - default # exporter所在的命名空间 podMetricsEndpoints: - interval: 30s # 设置指标采集周期 path: /metrics # 填写Prometheus Exporter对应的Path的值,默认/metrics port: metric-port # 填写 Prometheus Exporter 对应的 YAML 的 ports的name selector: # 填写要监控Exporter Pod的Label标签,以定位目标Exporter matchLabels: k8s-app: memcached-exporter
以上样例指标采集的周期是30秒,所以等待大概30秒后才能在AOM的界面上查看到上报的指标。
验证CCE集群指标上报到AOM
- 登录AOM 2.0控制台。
- 在左侧菜单栏中选择“Prometheus监控 > 实例列表”。
- 单击接入了该CCE集群的“prometheus for CCE”实例名称,进入实例详情页面。
- 在“指标管理”页面的“指标”页签下,选择对应集群。
- 选择Job:{namespace}/memcached-exporter,可以查询到go_memstats开头的memcached指标。
在AOM上配置仪表盘和告警
通过仪表盘功能可视化监控CCE集群数据,通过告警规则功能,在集群发生故障时能够及时发现并预警。
- 配置仪表盘图表
- 登录AOM 2.0控制台。
- 在左侧菜单栏中选择“仪表盘”,单击“创建仪表盘”新建一个仪表盘,详情可参见创建仪表盘。
- 在仪表盘页面选择实例类型为“Prometheus for CCE”的实例并单击“添加图表”,详情请参见添加图表至仪表盘。
- 配置告警
- 登录AOM 2.0控制台。
- 在左侧菜单栏中选择“告警管理 > 告警规则”。
- 在“指标或事件”页签下单击“创建”配置告警,详情请参见创建指标告警规则。