负载感知调度

仅云原生监控插件开启本地数据存储时，可通过Metrics API提供资源指标。

首先执行以下命令查询集群中是否已开启Metrics API，如果已开启则可跳过本步骤。

kubectl get APIServices | grep v1beta1.metrics.k8s.io

若存在回显，则表示Metrics API已开启，可跳过本步骤进行下一步添加指标采集规则。

若未查询到Metrics API，要将其开启，可手动创建对应APIService对象。

1. 创建一个文件，命名为metrics-apiservice.yaml。文件内容如下：

   apiVersion: apiregistration.k8s.io/v1
   kind: APIService
   metadata:
     labels:
       app: custom-metrics-apiserver
       release: cceaddon-prometheus
     name: v1beta1.metrics.k8s.io
   spec:
     group: metrics.k8s.io
     groupPriorityMinimum: 100
     insecureSkipTLSVerify: true
     service:
       name: custom-metrics-apiserver
       namespace: monitoring
       port: 443
     version: v1beta1
     versionPriority: 100

2. 然后执行以下命令创建对应APIService对象。

   kubectl create -f metrics-apiservice.yaml

3. 再次执行以下命令查询集群中是否已开启Metrics API。

   kubectl get APIServices | grep v1beta1.metrics.k8s.io

   

   开启Metrics API后，如果需要卸载云原生监控插件，请执行以下kubectl命令，同时删除APIService对象，否则残留的APIService资源将导致Kubernetes Metrics Server插件安装失败。

   kubectl delete APIService v1beta1.metrics.k8s.io

1. 修改user-adapter-config配置项。

   kubectl edit configmap user-adapter-config -n monitoring

2. 在rules字段下添加自定义指标采集规则。
   自定义指标采集规则如下，红色为本次添加的指标采集规则，黑色为已有规则，在已有规则基础上添加红色规则即可。

   ...
   data:
     config.yaml: >
       rules:
       - seriesQuery: '{__name__=~"node_cpu_seconds_total"}'
         resources:
           overrides:
             instance:
               resource: node
         name:
           matches: node_cpu_seconds_total
           as: node_cpu_usage_avg
         metricsQuery: avg_over_time((1 - avg (irate(<<.Series>>{mode="idle"}[5m])) by (instance))[10m:30s])
       - seriesQuery: '{__name__=~"node_memory_MemTotal_bytes"}'
         resources:
           overrides:
             instance:
               resource: node
         name:
           matches: node_memory_MemTotal_bytes
           as: node_memory_usage_avg
         metricsQuery: avg_over_time(((1-node_memory_MemAvailable_bytes/<<.Series>>))[10m:30s])
       resourceRules:
         cpu:
           containerQuery: sum(rate(container_cpu_usage_seconds_total{<<.LabelMatchers>>,container!="",pod!=""}[1m])) by (<<.GroupBy>>)
           nodeQuery: sum(rate(container_cpu_usage_seconds_total{<<.LabelMatchers>>, id='/'}[1m])) by (<<.GroupBy>>)
           resources:
             overrides:
               instance:
                 resource: node
               namespace:
                 resource: namespace
               pod:
                 resource: pod
           containerLabel: container
         memory:
           containerQuery: sum(container_memory_working_set_bytes{<<.LabelMatchers>>,container!="",pod!=""}) by (<<.GroupBy>>)
           nodeQuery: sum(container_memory_working_set_bytes{<<.LabelMatchers>>,id='/'}) by (<<.GroupBy>>)
           resources:
             overrides:
               instance:
                 resource: node
               namespace:
                 resource: namespace
               pod:
                 resource: pod
           containerLabel: container
         window: 1m
   ...

   • CPU平均利用率采集规则
     • node_cpu_usage_avg：表示节点的CPU平均利用率，该指标名不可修改。
     • metricsQuery: avg_over_time((1 - avg (irate(<<.Series>>{mode="idle"}[5m])) by (instance))[10m:30s])：为节点CPU平均利用率的查询语句。

       当前metricsQuery表示查询所有节点最近10分钟的CPU平均利用率，如果希望调整平均值的计算周期为最近5分钟或者30分钟，可以修改上述标红的10m为5m或者30m即可。

   • Memory平均利用率采集规则
     • node_memory_usage_avg：表示节点的Memory利用率，该指标名不可修改。
     • metricsQuery: avg_over_time(((1-node_memory_MemAvailable_bytes/<<.Series>>))[10m:30s])：为节点Memory平均利用率的查询语句。

       当前metricsQuery表示查询所有节点最近10分钟的Memory平均利用率，如果希望调整平均值的计算周期为最近5分钟或者30分钟，可以修改上述标红的10m为5m或者30m即可。

3. 重新部署monitoring命名空间下的custom-metrics-apiserver工作负载。

   kubectl rollout restart deployment custom-metrics-apiserver -n monitoring

4. 验证自定义规则配置成功。
   1. 执行以下命令，若可以正常返回自定义指标信息，表示Prometheus侧指标采集配置成功。

      kubectl get --raw=/apis/custom.metrics.k8s.io/v1beta1

      

   2. 执行以下命令，查询集群内节点信息。

      kubectl get nodes 

      然后任选一个节点执行以下命令，其中xxxx替换为查询到的node_name，如果需要查询所有节点资源信息，可以使用*代替xxxx：

      kubectl get --raw=/apis/custom.metrics.k8s.io/v1beta1/nodes/xxxx/node_cpu_usage_avg

      查询结果示例如下：