# 云原生监控插件 #### 插件简介 云原生监控插件（原名kube-prometheus-stack）通过使用Prometheus-operator和Prometheus，提供简单易用的端到端Kubernetes集群监控能力。 使用云原生监控插件可将监控数据与监控中心对接，在监控中心控制台查看监控数据，配置告警等。 开源社区地址： #### 约束与限制 - 在默认配置下，插件中的kube-state-metrics组件不采集Kubernetes资源的所有的labels和annotation。如需采集，您需要手动在启动参数中开启采集开关，并同时检查名称为kube-state-metrics的ServiceMonitor中采集白名单是否添加相应指标，详情请参见[采集Pod所有labels和annotations]。 - 自3.8.0版本起，开启"自动服务发现"配置后将默认不再采集kube-system和monitoring命名空间下以annotations方式定义的组件指标，若您有相关负载在这两个命名空间下，建议使用[Pod Monitor](https://support.huaweicloud.com/usermanual-cce/cce_10_0373.html#cce_10_0373__section3497144813213)或[Service Monitor](https://support.huaweicloud.com/usermanual-cce/cce_10_0373.html#cce_10_0373__section92241661317)的方式采集。 - 自3.8.0版本起，默认不再采集etcd-server、kube-controller、kube-scheduler、autoscaler、fluent-bit、volcano-agent、volcano-scheduler、otel-collector的指标，您可按需开启。 开启方式：前往"配置中心 \> 监控运维配置"页面，找到ServiceMonitor或PodMonitor配置，单击"管理"按钮，然后按需开启相关指标采集。 - 在3.9.0版本后，Grafana组件从云原生监控插件中移除，拆分为独立的Grafana插件。因此，当插件版本从3.9.0后的版本回滚至3.9.0前的版本，请先卸载Grafana插件再进行回滚操作。 #### 权限说明 云原生监控插件中的node-exporter组件会监控Docker的存储磁盘空间，需要读取宿主机的/var/run/docker.sock的获取Docker的info的数据。 node-exporter运行需要以下特权： - cap_dac_override：读取Docker的info的数据。 #### 安装插件 ![](https://support.huaweicloud.com/usermanual-cce/public_sys-resources/note_3.0-zh-cn.png) 云原生监控插件当前根据**[数据存储配置]**自适应选择部署模式（3.7.1及以上版本插件支持），具体如下： - 原agent模式：关闭**本地数据存储** ，且**监控数据上报至AOM服务** 和**监控数据上报至第三方监控平台**至少开启其中之一。 - 原server模式：开启**本地数据存储** ，同时支持开启**监控数据上报至AOM服务** 或**监控数据上报至第三方监控平台**。 1. 登录[CCE控制台](https://console.huaweicloud.com/cce2.0/?#/cce/cluster/list)，单击集群名称进入集群。 2. 在左侧导航栏中选择"插件中心"，在右侧找到**云原生监控插件**，单击"安装"。 3. 在安装插件页面，根据需求选择"数据存储配置"，至少需要开启一项。 - **监控数据上报至AOM服务** ：将普罗数据上报至 AOM 服务。开启后，可选择对应的AOM实例。采集的容器基础指标免费（详见[基础指标：容器指标](https://support.huaweicloud.com/productdesc-aom2/aom_01_0023.html)），自定义指标将由AOM服务进行收费，价格详情请参见[价格详情](https://www.huaweicloud.com/pricing.html#/aom)。对接AOM需要用户具备一定权限，目前仅**华为云/华为账号** ，或者在**admin**用户组下的用户支持此操作。 - **监控数据上报至第三方监控平台**：将普罗数据上报至第三方监控系统，需填写第三方监控系统的地址和Token，并选择是否跳过证书认证。 - **本地数据存储** ：将普罗数据存储在集群中的PVC存储卷里，选择用于存储监控数据的磁盘类型和大小。**存储卷不随插件卸载而删除** 。开启本地数据存储时，将部署全量组件，详情请参见[组件说明]。 ![](https://support.huaweicloud.com/usermanual-cce/public_sys-resources/note_3.0-zh-cn.png) 若monitoring命名空间下已存在可使用的PVC（名称为pvc-prometheus-server-0），将使用该存储作为存储源。 4. 根据需求选择"规格配置"。 - **插件规格** ： - 选择"系统预置规格"时，系统会根据不同的预置规格配置插件的实例数及资源配额，具体配置值请以控制台显示为准。 - 选择"自定义规格"时，您可根据需求调整插件实例数和资源配额。实例数为1时插件不具备高可用能力，当插件实例所在节点异常时可能导致插件功能无法正常使用，请谨慎选择。 - **普罗高可用**：高可用会在集群中将Prometheus-server、Prometheus-operator、thanos-query、custom-metrics-apiserver、alertmanager、kube-state-metrics组件按多实例方式部署。 - **采集分片数**（选择非"本地数据存储"时支持设置）：当Prometheus的数据量很大时，您可以通过设置该参数，将数据分片到指定数量的Prometheus实例上存储和查询。增加分片数量可以使每个分片承担的数据量更少，从而增加指标的采集吞吐上限，但也会消耗更多的资源。默认采集分片数根据集群规模自动生成，建议每50个节点配置一个采集分片，如果您需要增加分片数量，提高采集性能，需要考虑资源占用的影响，根据具体的监控场景进行权衡和调优。为确保系统稳定性，建议将控制节点内存使用率控制在50%以下。 - **安装grafana** ：通过 grafana 可视化浏览普罗监控数据。grafana 会默认创建大小为 5 GiB 的存储卷，卸载插件时 grafana 的**存储卷不随插件被删除** 。首次登录Grafana时可使用默认用户名密码（详情请参见[Sign in to Grafana](https://grafana.com/docs/grafana/latest/setup-grafana/sign-in-to-grafana/)），登录成功后会提示您修改密码。 3.9.0版本后，Grafana组件从云原生监控插件中移除，拆分为独立的Grafana插件，不再显示此选项。 5. 设置插件支持的"参数配置"。 - **自动服务发现** ：开启后，支持以Annotations服务发现的形式自动采集应用的指标，默认忽略kube-system和monitoring命名空间下的应用。配置自动采集Annotations的操作详情请参见[配置Pod Annotations监控自定义指标](https://support.huaweicloud.com/usermanual-cce/cce_10_0373.html#cce_10_0373__section179021319175)和[配置Service Annotations监控自定义指标](https://support.huaweicloud.com/usermanual-cce/cce_10_0373.html#cce_10_0373__section103284201722)。 - **采集周期**：设置采集时间间隔周期。 - **数据保留期**（选择"本地数据存储"时支持设置）：监控数据保留的时长。 - **node-exporter监听端口**：该端口使用主机网络，用于监听并暴露所在节点的指标供普罗采集；默认为9100，若与您已有应用的端口冲突，可按需修改。 - **调度策略** ：可单独配置插件各个组件的节点亲和性和污点容忍能力。可以配置多个调度策略，不配置亲和节点键和容忍节点污点键则默认不开启对应的调度策略。 - 作用范围：可选择调度策略生效的插件实例，默认对全部实例生效。当指定组件实例名称时，将覆盖全部实例所配置的调度策略。 - 亲和节点标签键：填写节点标签键，为插件实例设置节点亲和性。 - 亲和节点标签值：填写节点标签值，为插件实例设置节点亲和性。 - 容忍节点污点键：目前仅支持污点键级别的污点容忍策略，组件可以调度到拥有该污点键的节点。 6. 完成以上配置后，单击"安装"。 插件安装完成后，根据您的使用需求，可能还需进行以下操作： - 如需使用自定义指标创建弹性伸缩策略，请确认云原生监控插件的数据存储配置为开启本地数据存储的模式，然后参考以下步骤： 1. 采集应用上报的自定义指标至Prometheus，详情请参见[使用云原生监控插件监控自定义指标](https://support.huaweicloud.com/usermanual-cce/cce_10_0373.html)。 2. 将Prometheus采集到的自定义指标聚合到API Server，可供HPA策略使用，详情请参见[使用自定义指标创建HPA策略]。 - 如果您需要使用该插件为工作负载弹性伸缩提供系统资源指标（如CPU、内存使用量），请确认云原生监控插件的数据存储配置为开启本地数据存储的模式，然后开启Metric API，详情请参见[通过Metrics API提供基础资源指标]。配置完成后，可使用Prometheus采集系统资源指标。（该操作可能与Kubernetes Metric Server插件产生冲突，不推荐） #### 组件说明 安装云原生监控插件创建的Kubernetes资源，全部都创建在monitoring命名空间下。 表1云原生监控插件的组件列表 | 容器组件 | 说明 | 支持的部署模式 | 资源类型 | |:---|:---|:---|:---| | prometheusOperator （负载名称：prometheus-operator） | 根据Prometheus类型的自定义资源（Custom Resource Definition / CRDs）来部署和管理Prometheus Server，同时监控这些自定义资源事件的变化来做相应的处理，是整个系统的控制中心。 | 所有模式 | Deployment | | prometheus （使用本地数据存储的负载名称：prometheus-server；不使用本地数据存储的负载名称：prometheus-lightweight） | Prometheus监控系统的核心组件，用于指标采集和存储，支持将指标上报到AOM或第三方监控平台，开启本地存储后可将指标数据保存在本地PVC中。 | 所有模式 | StatefulSet | | alertmanager （负载名称：alertmanager-alertmanager） | 插件的告警中心，主要用于接收Prometheus发送的告警并通过去重、分组、分发等能力管理告警信息。 | 本地数据存储开启模式 | StatefulSet | | thanosSidecar | 仅在高可用模式下部署。和prometheus-server运行在同一个Pod中，用于实现普罗指标数据的持久化存储。 | 本地数据存储开启模式 | Container | | thanosQuery | 仅在高可用模式下部署。PromQL查询的入口，能够对来自Store或Prometheus的相同指标进行重复数据删除。 | 本地数据存储开启模式 | Deployment | | adapter （负载名称：custom-metrics-apiserver） | 将自定义指标聚合到原生的Kubernetes API Server。 | 本地数据存储开启模式 | Deployment | | kubeStateMetrics （负载名称：kube-state-metrics） | 将Kubernetes内部各种资源对象（如Pod、Deployment、Node 等）的状态转化为可供Prometheus抓取的Metrics（时序指标）。kube-state-metrics组件在默认配置下，不采集K8s资源的所有labels和annotation。如需采集，请参考[采集Pod所有labels和annotations]进行配置。 说明： 该组件如果存在多个Pod，只会有一个Pod暴露指标。 | 所有模式 | Deployment | | nodeExporter （负载名称：node-exporter） | 每个节点上均有部署，收集Node级别的监控数据。 | 所有模式 | DaemonSet | #### 通过Metrics API提供基础资源指标 ![](https://support.huaweicloud.com/usermanual-cce/public_sys-resources/note_3.0-zh-cn.png) 仅云原生监控插件开启本地数据存储时，可通过Metrics API提供基础资源指标。 如果集群中已安装[Kubernetes Metrics Server](https://support.huaweicloud.com/usermanual-cce/cce_10_0205.html)，该插件默认提供Metrics API，无需重复执行本步骤。 容器和节点的资源指标，如CPU、内存使用量，可通过Kubernetes的Metrics API获得。这些指标可以直接被用户访问，比如用kubectl top命令，也可以被HPA或者CustomedHPA使用，根据资源使用率使负载弹性伸缩。 插件可为Kubernetes提供Metrics API，但默认未开启，若要将其开启，需要创建以下APIService对象： ``` apiVersion: apiregistration.k8s.io/v1 kind: APIService metadata: labels: app: custom-metrics-apiserver release: cceaddon-prometheus name: v1beta1.metrics.k8s.io spec: group: metrics.k8s.io groupPriorityMinimum: 100 insecureSkipTLSVerify: true service: name: custom-metrics-apiserver namespace: monitoring port: 443 version: v1beta1 versionPriority: 100 ``` 可以将该对象保存为文件，命名为metrics-apiservice.yaml，然后执行以下命令： ``` kubectl create -f metrics-apiservice.yaml ``` 执行kubectl top pod -n monitoring命令，若显示如下，则表示Metrics API能正常访问： ``` NAME CPU(cores) MEMORY(bytes) ...... custom-metrics-apiserver-d4f556ff9-l2j2m 38m 44Mi ...... ``` ![](https://support.huaweicloud.com/usermanual-cce/public_sys-resources/notice_3.0-zh-cn.png) 卸载插件时，需要执行以下kubectl命令，同时删除APIService对象，否则残留的APIService资源将导致Kubernetes Metrics Server插件安装失败。 ``` kubectl delete APIService v1beta1.metrics.k8s.io ``` #### 使用自定义指标创建HPA策略 云原生监控插件为开启本地数据存储时，才能使用自定义指标HPA功能，您可在user-adapter-config配置项中配置HPA弹性策略需要的自定义指标。 ![](https://support.huaweicloud.com/usermanual-cce/public_sys-resources/notice_3.0-zh-cn.png) 使用Prometheus监控自定义指标时，应用程序需要提供监控指标接口，详情请参见[Prometheus监控数据采集说明](https://support.huaweicloud.com/usermanual-cce/cce_10_0373.html#cce_10_0373__section173671127160)。 以下案例中使用[使用云原生监控插件监控自定义指标](https://support.huaweicloud.com/usermanual-cce/cce_10_0373.html)中的nginx指标（nginx_connections_accepted）作为配置示例。 1. 登录[CCE控制台](https://console.huaweicloud.com/cce2.0/?#/cce/cluster/list)，单击集群名称进入集群。 2. 在左侧导航栏中选择"配置与密钥"，并切换至"monitoring"命名空间，在"配置项"页签找到user-adapter-config配置项（或adapter-config），并单击"更新"。 图1更新配置项 ![](https://support.huaweicloud.com/usermanual-cce/zh-cn_image_0000002072688162.png "点击放大") 3. 在"配置数据"中单击config.yaml对应的"编辑"按钮，在rules字段下添加自定义指标采集规则。修改完成后单击"确定"保存配置。 如果您需要增加多个采集规则，可在rules字段下添加多个配置，关于采集规则配置详情请参见[Metrics Discovery and Presentation Configuration](https://github.com/kubernetes-sigs/prometheus-adapter/blob/master/docs/config.md)。 自定义采集规则示例如下： ``` rules: # 匹配指标名称是nginx_connections_accepted的指标，必须确认指标名称，否则HPA控制器无法获取到指标 - seriesQuery: '{__name__=~"nginx_connections_accepted",container!="POD",namespace!="",pod!=""}' resources: # 指定Pod和命名空间资源 overrides: namespace: resource: namespace pod: resource: pod name: #使用nginx_connections_accepted matches: "nginx_connections_accepted" #使用nginx_connections_accepted_per_second来代表该指标，该名称即在HPA的自定义策略中的自定义指标名称 as: "nginx_connections_accepted_per_second" #通过计算表达式rate(nginx_connections_accepted[2m])来代表是每秒的请求接收量 metricsQuery: 'rate(<<.Series>>{<<.LabelMatchers>>,container!="POD"}[2m])' ``` 图2修改配置数据 ![](https://support.huaweicloud.com/usermanual-cce/zh-cn_image_0000002072532090.png "点击放大") 4. 重新部署monitoring命名空间下的custom-metrics-apiserver工作负载。 图3重新部署custom-metrics-apiserver ![](https://support.huaweicloud.com/usermanual-cce/zh-cn_image_0000001875592265.png "点击放大") 5. 在左侧导航栏中选择"工作负载"，找到需要创建HPA策略的工作负载单击"更多\>弹性伸缩"。您可在"自定义策略"中选择上述参数创建弹性伸缩策略。 图4创建HPA策略 ![](https://support.huaweicloud.com/usermanual-cce/zh-cn_image_0000001839522492.png "点击放大") #### 采集Pod所有labels和annotations 1. 登录[CCE控制台](https://console.huaweicloud.com/cce2.0/?#/cce/cluster/list)，单击集群名称进入集群。 2. 在左侧导航栏中选择"工作负载"，并切换至"monitoring"命名空间，在"无状态负载"页签单击进入**kube-state-metrics**负载，选择"容器管理"页签，在右侧单击"编辑"按钮，进入"升级工作负载"页面。 3. 在容器配置的"生命周期"中，编辑启动命令。 图5编辑启动命令 ![](https://support.huaweicloud.com/usermanual-cce/zh-cn_image_0000001476645177.png "点击放大") 采集labels时，在原有的kube-state-metrics的启动参数最后添加： ``` --metric-labels-allowlist=pods=[*],nodes=[node,failure-domain.beta.kubernetes.io/zone,topology.kubernetes.io/zone] ``` 如需采集annotations时，则在启动参数中以相同方法添加参数： ``` --metric-annotations-allowlist=pods=[*],nodes=[node,failure-domain.beta.kubernetes.io/zone,topology.kubernetes.io/zone] ``` ![](https://support.huaweicloud.com/usermanual-cce/public_sys-resources/notice_3.0-zh-cn.png) 编辑启动命令时，请勿修改其他原有的启动参数，否则可能导致组件异常。 4. kube-state-metrics将开始采集Pod和node的labels/annotations指标，查询kube_pod_labels/kube_pod_annotations是否在普罗的采集任务中。 ``` kubectl get servicemonitor kube-state-metrics -nmonitoring -oyaml | grep kube_pod_labels ``` 更多kube-state-metrics的启动参数请参见[kube-state-metrics/cli-arguments](https://github.com/kubernetes/kube-state-metrics/blob/v2.2.3/docs/cli-arguments.md)。 #### 相关文档 - 安装云原生监控插件后，您可以使用监控中心，提供容器洞察、仪表盘等容器监控与诊断能力，详情请参见[监控中心概述](https://support.huaweicloud.com/usermanual-cce/cce_10_0413.html)。 - 安装云原生监控插件后，如果您需要采集自定义指标，请参见[使用云原生监控插件监控自定义指标](https://support.huaweicloud.com/usermanual-cce/cce_10_0373.html)。 - CCE为您提供多种类型的系统指标，您可以使用云原生监控插件进行监控： - [实现GPU基础、虚拟化及Pod级资源指标的全面监控](https://support.huaweicloud.com/usermanual-cce/cce_10_0741.html) - [使用Prometheus监控控制节点组件指标](https://support.huaweicloud.com/usermanual-cce/cce_10_0559.html) - [监控CCE Turbo集群容器网络扩展指标](https://support.huaweicloud.com/usermanual-cce/cce_10_0834.html) - 如果您的集群规模较大，建议您采用合理的采集配置，提升监控系统的效率和稳定性，详情请参见[大规模集群中的云原生监控插件配置最佳实践](https://support.huaweicloud.com/usermanual-cce/cce_10_0978.html)。 - 如果云原生监控插件发生OOM（Out of Memory）问题，您可以参考[云原生监控插件负载OOM处理](https://support.huaweicloud.com/usermanual-cce/cce_10_1013.html)。 #### 版本记录 表2云原生监控插件版本记录 | 插件版本 | 支持的集群版本 | 更新特性 | 社区版本 | |:---|:---|:---|:---| | 3.12.16 | v1.21 v1.23 v1.25 v1.27 v1.28 v1.29 v1.30 v1.31 v1.32 v1.33 v1.34 v1.35 v1.36 | 修复部分问题 | [2.53.2](https://github.com/prometheus/prometheus/releases/tag/v2.53.2) | | 3.12.12 | v1.21 v1.23 v1.25 v1.27 v1.28 v1.29 v1.30 v1.31 v1.32 v1.33 v1.34 v1.35 v1.36 | 适配CCE v1.36集群 | [2.53.2](https://github.com/prometheus/prometheus/releases/tag/v2.53.2) | | 3.12.9 | v1.21 v1.23 v1.25 v1.27 v1.28 v1.29 v1.30 v1.31 v1.32 v1.33 v1.34 v1.35 | 适配CCE v1.35集群 | [2.53.2](https://github.com/prometheus/prometheus/releases/tag/v2.53.2) | | 3.12.8 | v1.21 v1.23 v1.25 v1.27 v1.28 v1.29 v1.30 v1.31 v1.32 v1.33 v1.34 | 适配CCE v1.34集群 | [2.53.2](https://github.com/prometheus/prometheus/releases/tag/v2.53.2) | | 3.12.2 | v1.21 v1.23 v1.25 v1.27 v1.28 v1.29 v1.30 v1.31 v1.32 v1.33 | 适配CCE v1.33集群 | [2.53.2](https://github.com/prometheus/prometheus/releases/tag/v2.53.2) | | 3.12.1 | v1.21 v1.23 v1.25 v1.27 v1.28 v1.29 v1.30 v1.31 v1.32 | 适配CCE v1.32集群 | [2.53.2](https://github.com/prometheus/prometheus/releases/tag/v2.53.2) | | 3.12.0 | v1.21 v1.23 v1.25 v1.27 v1.28 v1.29 v1.30 v1.31 | - 适配CCE v1.31集群 - 升级Prometheus版本 | [2.53.2](https://github.com/prometheus/prometheus/releases/tag/v2.53.2) | | 3.11.0 | v1.21 v1.23 v1.25 v1.27 v1.28 v1.29 v1.30 | 适配CCE v1.30集群 | [2.37.8](https://github.com/prometheus/prometheus/releases/tag/v2.37.8) | | 3.10.1 | v1.21 v1.23 v1.25 v1.27 v1.28 v1.29 | NodeExporter组件升级至1.8.0版本 | [2.37.8](https://github.com/prometheus/prometheus/releases/tag/v2.37.8) | | 3.10.0 | v1.21 v1.23 v1.25 v1.27 v1.28 v1.29 | 支持v1.29集群 | [2.37.8](https://github.com/prometheus/prometheus/releases/tag/v2.37.8) | | 3.9.5 | v1.21 v1.23 v1.25 v1.27 v1.28 | - 新增采集自定义指标的开关，默认开启 - 移除对1.17和1.19版本集群的支持 - Grafana从云原生监控插件中移除，拆分为独立的Grafana插件 - 默认只采集免费指标和服务发现自定义指标 - 升级开源组件版本 | [2.37.8](https://github.com/prometheus/prometheus/releases/tag/v2.37.8) | | 3.8.2 | v1.17 v1.19 v1.21 v1.23 v1.25 v1.27 | 修复部分问题 | [2.35.0](https://github.com/prometheus/prometheus/releases/tag/v2.35.0) | | 3.8.1 | v1.17 v1.19 v1.21 v1.23 v1.25 v1.27 | - 支持v1.27集群 - 优化Agent模式的资源占用并支持分片 | [2.35.0](https://github.com/prometheus/prometheus/releases/tag/v2.35.0) | | 3.7.3 | v1.17 v1.19 v1.21 v1.23 v1.25 | - | [2.35.0](https://github.com/prometheus/prometheus/releases/tag/v2.35.0) | | 3.7.2 | v1.17 v1.19 v1.21 v1.23 v1.25 | 支持采集Virtual-Kubelet Pod指标 | [2.35.0](https://github.com/prometheus/prometheus/releases/tag/v2.35.0) | | 3.7.1 | v1.17 v1.19 v1.21 v1.23 v1.25 | 支持PrometheusAgent模式 | [2.35.0](https://github.com/prometheus/prometheus/releases/tag/v2.35.0) | | 3.6.6 | v1.17 v1.19 v1.21 v1.23 v1.25 | - Grafana版本升级至7.5.17 - 支持containerd节点 | [2.35.0](https://github.com/prometheus/prometheus/releases/tag/v2.35.0) | | 3.5.1 | v1.17 v1.19 v1.21 v1.23 | - | [2.35.0](https://github.com/prometheus/prometheus/releases/tag/v2.35.0) | | 3.5.0 | v1.17 v1.19 v1.21 v1.23 | 更新至社区2.35.0版本 | [2.35.0](https://github.com/prometheus/prometheus/releases/tag/v2.35.0) |