计算
弹性云服务器 ECS
Flexus云服务
裸金属服务器 BMS
弹性伸缩 AS
镜像服务 IMS
专属主机 DeH
函数工作流 FunctionGraph
云手机服务器 CPH
Huawei Cloud EulerOS
网络
虚拟私有云 VPC
弹性公网IP EIP
虚拟专用网络 VPN
弹性负载均衡 ELB
NAT网关 NAT
云专线 DC
VPC终端节点 VPCEP
云连接 CC
企业路由器 ER
企业交换机 ESW
全球加速 GA
安全与合规
安全技术与应用
Web应用防火墙 WAF
企业主机安全 HSS
云防火墙 CFW
安全云脑 SecMaster
DDoS防护 AAD
数据加密服务 DEW
数据库安全服务 DBSS
云堡垒机 CBH
数据安全中心 DSC
云证书管理服务 CCM
边缘安全 EdgeSec
威胁检测服务 MTD
CDN与智能边缘
内容分发网络 CDN
CloudPond云服务
智能边缘云 IEC
迁移
主机迁移服务 SMS
对象存储迁移服务 OMS
云数据迁移 CDM
迁移中心 MGC
大数据
MapReduce服务 MRS
数据湖探索 DLI
表格存储服务 CloudTable
云搜索服务 CSS
数据接入服务 DIS
数据仓库服务 GaussDB(DWS)
数据治理中心 DataArts Studio
数据可视化 DLV
数据湖工厂 DLF
湖仓构建 LakeFormation
企业应用
云桌面 Workspace
应用与数据集成平台 ROMA Connect
云解析服务 DNS
专属云
专属计算集群 DCC
IoT物联网
IoT物联网
设备接入 IoTDA
智能边缘平台 IEF
用户服务
账号中心
费用中心
成本中心
资源中心
企业管理
工单管理
国际站常见问题
ICP备案
我的凭证
支持计划
客户运营能力
合作伙伴支持计划
专业服务
区块链
区块链服务 BCS
Web3节点引擎服务 NES
解决方案
SAP
高性能计算 HPC
视频
视频直播 Live
视频点播 VOD
媒体处理 MPC
实时音视频 SparkRTC
数字内容生产线 MetaStudio
存储
对象存储服务 OBS
云硬盘 EVS
云备份 CBR
存储容灾服务 SDRS
高性能弹性文件服务 SFS Turbo
弹性文件服务 SFS
云硬盘备份 VBS
云服务器备份 CSBS
数据快递服务 DES
专属分布式存储服务 DSS
容器
云容器引擎 CCE
容器镜像服务 SWR
应用服务网格 ASM
华为云UCS
云容器实例 CCI
管理与监管
云监控服务 CES
统一身份认证服务 IAM
资源编排服务 RFS
云审计服务 CTS
标签管理服务 TMS
云日志服务 LTS
配置审计 Config
资源访问管理 RAM
消息通知服务 SMN
应用运维管理 AOM
应用性能管理 APM
组织 Organizations
优化顾问 OA
IAM 身份中心
云运维中心 COC
资源治理中心 RGC
应用身份管理服务 OneAccess
数据库
云数据库 RDS
文档数据库服务 DDS
数据管理服务 DAS
数据复制服务 DRS
云数据库 GeminiDB
云数据库 GaussDB
分布式数据库中间件 DDM
数据库和应用迁移 UGO
云数据库 TaurusDB
人工智能
人脸识别服务 FRS
图引擎服务 GES
图像识别 Image
内容审核 Moderation
文字识别 OCR
AI开发平台ModelArts
图像搜索 ImageSearch
对话机器人服务 CBS
华为HiLens
视频智能分析服务 VIAS
语音交互服务 SIS
应用中间件
分布式缓存服务 DCS
API网关 APIG
微服务引擎 CSE
分布式消息服务Kafka版
分布式消息服务RabbitMQ版
分布式消息服务RocketMQ版
多活高可用服务 MAS
事件网格 EG
企业协同
华为云会议 Meeting
云通信
消息&短信 MSGSMS
云生态
合作伙伴中心
云商店
开发者工具
SDK开发指南
API签名指南
Terraform
华为云命令行工具服务 KooCLI
其他
产品价格详情
系统权限
管理控制台
客户关联华为云合作伙伴须知
消息中心
公共问题
开发与运维
应用管理与运维平台 ServiceStage
软件开发生产线 CodeArts
需求管理 CodeArts Req
部署 CodeArts Deploy
性能测试 CodeArts PerfTest
编译构建 CodeArts Build
流水线 CodeArts Pipeline
制品仓库 CodeArts Artifact
测试计划 CodeArts TestPlan
代码检查 CodeArts Check
代码托管 CodeArts Repo
云应用引擎 CAE
开天aPaaS
云消息服务 KooMessage
云手机服务 KooPhone
云空间服务 KooDrive
文档首页/ 云容器引擎 CCE/ 最佳实践/ 弹性伸缩/ 基于ELB监控指标的弹性伸缩实践

基于ELB监控指标的弹性伸缩实践

更新时间:2025-01-08 GMT+08:00

应用现状

在使用工作负载弹性伸缩时,Kubernetes默认提供基于CPU/内存等资源使用率指标进行伸缩。但是在流量突发的场景下,基于CPU/内存使用率资源使用率数据会滞后于ELB流量指标,无法及时反映应用实际需求。因此,对于某些需要快速弹性扩缩容的业务(例如抢购和社交媒体),仅依靠资源使用率进行扩缩容可能存在伸缩不及时的问题,无法及时满足业务的实际需求。在这种情况下,通过基于ELB的QPS数据进行弹性伸缩可以更加及时地响应业务需求。

解决方案

本文介绍一种基于ELB监控指标的弹性伸缩方法,相比CPU/内存使用率进行弹性伸缩,基于ELB的QPS数据弹性伸缩更有针对性,更加及时。

本方案的关键点是获取ELB的指标数据并上报到Prometheus,再将Prometheus中的数据转换成HPA能够识别的metric数据,然后HPA根据metric数据进行弹性伸缩。

基于ELB监控指标的弹性伸缩具体实施方案如下所示:

  1. 开发一个Prometheus exporter,获取ELB的指标,并转化成Prometheus需要的格式,上报到Prometheus。本文使用cloudeye-exporter作为示例。
  2. 将Prometheus的数据转换成Kubernetes metric api提供给HPA controller使用。
  3. 设置HPA规则,使用ELB的监控数据作为弹性伸缩指标。
图1 ELB流量与监控数据示意图
说明:

本文介绍的方法不限于ELB指标,其他指标可按照类似方法操作。

前提条件

  • 本实践需要您熟悉Prometheus。
  • 在集群中安装3.10.1以上版本的云原生监控插件(kube-prometheus-stack)。
    说明:

    插件“数据存储配置”需开启“本地数据存储”。

构建exporter镜像

本文使用cloudeye-exporter实现ELB指标监控,如您需要自行开发exporter,请参见附录:自行开发一个exporter

  1. 登录一台可访问公网且安装Docker的虚拟机,编写Dockerfile。

    vi Dockerfile
    Dockerfile内容如下:
    FROM ubuntu:18.04
    RUN apt-get update \
      && apt-get install -y git ca-certificates curl \
        && update-ca-certificates \
          && curl -O  https://dl.google.com/go/go1.14.14.linux-amd64.tar.gz \
            && tar -zxf go1.14.14.linux-amd64.tar.gz -C /usr/local \
              && git clone -b master https://github.com/huaweicloud/cloudeye-exporter \
                && export PATH=$PATH:/usr/local/go/bin \
                  && export GO111MODULE=on \
                    && export GOPROXY=https://goproxy.cn,direct \
                      && export GONOSUMDB=* \
                        && cd cloudeye-exporter \
                          && go build 
    CMD ["/cloudeye-exporter/cloudeye-exporter -config=/tmp/clouds.yml"]

  2. 构建镜像,镜像名称为cloudeye-exporter,版本为1.0。

    docker build --network host . -t cloudeye-exporter:1.0

  3. 上传镜像至SWR镜像仓库。

    1. (可选)登录SWR管理控制台,选择左侧导航栏的“组织管理”,单击页面右上角的“创建组织”,创建一个组织。

      如已有组织可跳过此步骤。

    2. 在左侧导航栏选择“我的镜像”,单击右侧“客户端上传”,在弹出的页面中单击“生成临时登录指令”,单击复制登录指令。
    3. 在集群节点上执行上一步复制的登录指令,登录成功会显示“Login Succeeded”。
    4. 为cloudeye-exporter镜像打标签。

      docker tag [镜像名称1:版本名称1] [镜像仓库地址]/[组织名称]/[镜像名称2:版本名称2]

      • [镜像名称1:版本名称1]:请替换为您本地所要上传的实际镜像的名称和版本名称。
      • [镜像仓库地址]:可在SWR控制台上查询,b中登录指令末尾的域名即为镜像仓库地址。
      • [组织名称]:请替换为a中创建的组织。
      • [镜像名称2:版本名称2]:请替换为SWR镜像仓库中需要显示的镜像名称和镜像版本。

      示例:

      docker tag cloudeye-exporter:1.0 swr.ap-southeast-1.myhuaweicloud.com/cloud-develop/cloudeye-exporter:1.0

    5. 上传镜像至镜像仓库。

      docker push [镜像仓库地址]/[组织名称]/[镜像名称2:版本名称2]

      示例:

      docker push swr.ap-southeast-1.myhuaweicloud.com/cloud-develop/cloudeye-exporter:1.0

      终端显示如下信息,表明上传镜像成功。

      ... 
      030***: Pushed 
      1.0: digest: sha256:eb7e3bbd*** size: **

      返回容器镜像服务控制台,在“我的镜像”页面,执行刷新操作后可查看到对应的镜像信息。

部署exporter

Prometheus可以动态监测,一般来说给资源打上Prometheus对应的annotations,Prometheus会自动采集监控信息(默认为“/metrics”路径)。本文使用cloudeye-exporter作为示例。

Prometheus中常用的annotations如下:

  • prometheus.io/scrape:true表示该资源会作为监控目标。
  • prometheus.io/path:采集的url,默认为/metrics。
  • prometheus.io/port:采集endpoint的端口号。
  • prometheus.io/scheme:默认为http,如果为了安全设置了https,此处需要改为https。
  1. 使用kubectl连接集群。
  2. 创建Secret,cloudeye-exporter将使用该Secret进行认证。

    1. 创建clouds.yml文件,文件内容如下:
          global:
            prefix: "huaweicloud"
            scrape_batch_size: 10
          auth:
            auth_url: "https://iam.ap-southeast-1.myhuaweicloud.com/v3"
            project_name: "ap-southeast-1"
            access_key: "********"
            secret_key: "***********"
            region: "ap-southeast-1"

      其中:

      • auth_url:IAM终端节点,可通过地区和终端节点获取。
      • project_name:项目名称。您可在“我的凭证”页面,前往“项目列表”区域查看项目名称和项目ID。
      • access_key和secret_key:可通过访问密钥获取。
      • region:区域名称,需要与project_name中的项目对应。
    2. 获取上述文件的base64加密内容字符串。
      cat clouds.yml | base64 -w0 ;echo

      回显如下:

      ICAga*****
    3. 创建clouds-secret.yaml文件,其内容如下:
      apiVersion: v1
      kind: Secret
      data: 
        clouds.yml: ICAga*****  #替换为base64加密字符串
      metadata:
        annotations:
          description: ''
        name: 'clouds.yml'
        namespace: default  #密钥所在的命名空间,需和deployment命名空间保持一致
        labels: {}
      type: Opaque
    4. 创建密钥。
      kubectl apply -f clouds-secret.yaml

  3. 创建cloudeye-exporter-deployment.yaml文件,内容如下:

    kind: Deployment
    apiVersion: apps/v1
    metadata:
      name: cloudeye-exporter
      namespace: default
    spec:
      replicas: 1
      selector:
        matchLabels:
          app: cloudeye-exporter
          version: v1
      template:
        metadata:
          labels:
            app: cloudeye-exporter
            version: v1
        spec:
          volumes:
            - name: vol-166055064743016314
              secret:
                secretName: clouds.yml
                defaultMode: 420
          containers:
            - name: container-1
              image: swr.ap-southeast-1.myhuaweicloud.com/cloud-develop/cloudeye-exporter:1.0  # 上文构建的exporter镜像地址
              command:
                - /cloudeye-exporter/cloudeye-exporter
                - '-config=/tmp/clouds.yml'
              resources: {}
              volumeMounts:
                - name: vol-166055064743016314
                  readOnly: true
                  mountPath: /tmp
              terminationMessagePath: /dev/termination-log
              terminationMessagePolicy: File
              imagePullPolicy: IfNotPresent
          restartPolicy: Always
          terminationGracePeriodSeconds: 30
          dnsPolicy: ClusterFirst
          securityContext: {}
          imagePullSecrets:
            - name: default-secret
          schedulerName: default-scheduler
      strategy:
        type: RollingUpdate
        rollingUpdate:
          maxUnavailable: 25%
          maxSurge: 25%
      revisionHistoryLimit: 10
      progressDeadlineSeconds: 600

    创建上述工作负载。

    kubectl apply -f cloudeye-exporter-deployment.yaml

  4. 创建cloudeye-exporter-service.yaml文件。

    apiVersion: v1
    kind: Service
    metadata:
      name: cloudeye-exporter
      namespace: default
      labels:
        app: cloudeye-exporter
        version: v1
      annotations:
        prometheus.io/port: '8087'      #采集endpoint的端口号
        prometheus.io/scrape: 'true'    #设置为true表示该资源会作为监控目标
        prometheus.io/path: "/metrics"  #采集的url,默认为/metrics
        prometheus.io/scheme: "http"    #默认为http,如果为了安全设置了https,此处需要改为https
    spec:
      ports:
        - name: cce-service-0
          protocol: TCP
          port: 8087
          targetPort: 8087
      selector:
        app: cloudeye-exporter
        version: v1
      type: ClusterIP

    创建上述Service。

    kubectl apply -f cloudeye-exporter-service.yaml

对接Prometheus

Prometheus收集到监控数据后,需要将Prometheus的数据转换成Kubernetes metric api提供给HPA controller使用,这样HPA controller就能根据监控数据进行弹性伸缩。

本示例中需要监控工作负载相关联的ELB指标,因此目标工作负载需要使用负载均衡类型的Service或Ingress。

  1. 查看需要监控的工作负载访问方式,获取ELB监听器ID。

    1. 在CCE集群控制台中,选择左侧“服务发现”,在“服务”或“路由”页签下查看负载均衡类型的Service或Ingress,单击对应的负载均衡器名称跳转至ELB页面。

    2. 在“监听器”页面,查看工作负载所对应的监听器,并复制该监听器ID。

  2. 使用kubectl连接集群,添加Prometheus的配置。本示例中的采集配置为ELB指标,更多高级用法详情请参见Configuration

    1. 新建prometheus-additional.yaml文件,添加以下内容并保存:
      - job_name: elb_metric
        params:
          services: ['SYS.ELB']
        kubernetes_sd_configs:
          - role: endpoints
        relabel_configs:
          - action: keep
            regex: '8087'
            source_labels:
              - __meta_kubernetes_service_annotation_prometheus_io_port
          - action: replace
            regex: ([^:]+)(?::\d+)?;(\d+)
            replacement: $1:$2
            source_labels:
              - __address__
              - __meta_kubernetes_service_annotation_prometheus_io_port
            target_label: __address__
          - action: labelmap
            regex: __meta_kubernetes_service_label_(.+)
          - action: replace
            source_labels:
              - __meta_kubernetes_namespace
            target_label: kubernetes_namespace
          - action: replace
            source_labels:
              - __meta_kubernetes_service_name
            target_label: kubernetes_service
    2. 使用上述配置文件创建一个名为additional-scrape-configs的Secret。
      kubectl create secret generic additional-scrape-configs --from-file prometheus-additional.yaml -n monitoring --dry-run=client -o yaml | kubectl apply -f -
    3. 编辑persistent-user-config配置项,开启AdditionalScrapeConfigs能力。
      kubectl edit configmap persistent-user-config -n monitoring

      在其中operatorConfigOverride字段下新增一行--common.prom.default-additional-scrape-configs-key=prometheus-additional.yaml,开启AdditionalScrapeConfigs能力,示例如下:

      ...
      data:
        lightweight-user-config.yaml: |
          customSettings:
            additionalScrapeConfigs: []
            agentExtraArgs: []
            metricsDeprecated:
              globalDeprecateMetrics: []
            nodeExporterConfigOverride: []
            operatorConfigOverride: 
            - --common.prom.default-additional-scrape-configs-key=prometheus-additional.yaml
      ...
    4. 您可以前往Prometheus查看自定义采集指标是否采集成功。

  3. 修改名为user-adapter-config的配置项。

    kubectl edit configmap user-adapter-config -nmonitoring
    在rules字段下添加以下内容并保存,其中lbaas_listener_id参数需要替换1中获取的监听器ID。
    apiVersion: v1
    data:
      config.yaml: |-
        rules:
        - metricsQuery: sum(<<.Series>>{<<.LabelMatchers>>,lbaas_listener_id="*****"}) by (<<.GroupBy>>)
          resources:
            overrides:
              kubernetes_namespace:
                resource: namespace
              kubernetes_service:
                resource: service
          name:
            matches: huaweicloud_sys_elb_(.*)
            as: "elb01_${1}"
          seriesQuery: '{lbaas_listener_id="*****"}'
        ...

  4. 重新部署monitoring命名空间下的custom-metrics-apiserver工作负载。

创建HPA弹性伸缩规则

exporter上报到Prometheus的数据,经过Prometheus adapter监控数据转换成Kubernetes metric api后,就可以创建HPA规则实现弹性伸缩。

  1. 创建HPA规则示例如下,使用ELB的入流量来作为扩容的标准,当m7_in_Bps(网络流入速率)的值超过1k时,会触发名为nginx的Deployment弹性伸缩。

    apiVersion: autoscaling/v2
    kind: HorizontalPodAutoscaler
    metadata:
      name: nginx
      namespace: default
    spec:
      scaleTargetRef:
        apiVersion: apps/v1
        kind: Deployment
        name: nginx
      minReplicas: 1
      maxReplicas: 10
      metrics:
        - type: Object
          object:
            metric:
              name: elb01_listener_m7_in_Bps  #监控指标名称
            describedObject:
              apiVersion: v1
              kind: Service
              name: cloudeye-exporter
            target:
              type: Value
              value: 1000
    图2 已创建的HPA策略

  2. 创建完后,可以对负载进行压测(也就是通过ELB访问Pod),然后HPA controller会根据设置的值计算是否需要扩容。

    单击HPA策略操作栏中的“事件”,可从K8s事件中查询扩缩容记录。
    图3 扩缩容事件

ELB监听器指标

通过本文方法可采集的ELB监听器指标如下:

表1 ELB监听器指标

指标

指标名称

单位

说明

m1_cps

并发连接数

统计负载均衡器当前处理的并发连接数量。

m1e_server_rps

后端服务器重置数量

个/秒

该指标用于统计后端服务器发送至客户端的重置(RST)数据包的计数。这些重置由后端服务器生成,然后由负载均衡器转发。

m1f_lvs_rps

负载均衡器重置数量

个/秒

该指标用于统计负载均衡器生成的重置(RST)数据包的计数。

m21_client_rps

客户端重置数量

个/秒

该指标用于统计客户端发送至后端服务器的重置(RST)数据包的计数。这些重置由客户端生成,然后由负载均衡器转发。

m22_in_bandwidth

入网带宽

bit/s

该指标用于统计负载均衡器当前入网带宽。

m23_out_bandwidth

出网带宽

bit/s

该指标用于统计负载均衡器当前出网带宽。

m2_act_conn

活跃连接数

该指标用于统计当前处理的活跃连接数量。

m3_inact_conn

非活跃连接数

该指标用于统计当前处理的非活跃连接数量。

m4_ncps

新建连接数

该指标用于统计当前处理的新建连接数量。

m5_in_pps

流入数据包数

该指标用于统计流入负载均衡器的数据包。

m6_out_pps

流出数据包数

该指标用于统计流出负载均衡器的数据包。

m7_in_Bps

网络流入速率

byte/s

该指标用于统计每秒流入负载均衡器的网络流量。

m8_out_Bps

网络流出速率

byte/s

该指标用于统计每秒流出负载均衡器的网络流量。

附录:自行开发一个exporter

Prometheus通过周期性的调用exporter的“/metrics”接口获取指标信息,应用只需要通过“/metrics”上报监控数据即可。Prometheus提供了各种语言的客户端,在应用中集成Prometheus客户端可以方便的实现“/metrics”接口,客户端具体请参见Prometheus CLIENT LIBRARIES,开发Exporter具体方法请参见WRITING EXPORTERS

监控数据需要Prometheus的格式提供,每条数据提供ELB ID、监听器ID、Service所在的命名空间、Service名称以及Service的uid作为标签,如下所示。

获取上述数据的方法如下所示。

  1. 查询当前所有Service。

    Service的返回信息中annotations字段可以查出Service关联的ELB。

    • kubernetes.io/elb.id
    • kubernetes.io/elb.class

  2. 根据上一步查询到ELB实例ID,使用查询监听器接口查询监听器ID。
  3. 获取ELB监控数据。

    ELB的调用CES批量查询监控数据接口,查询ELB的监控数据,ELB详细的监控数据指标请参见ELB监控指标说明。例如如下几种参数

    • m1_cps:并发连接数
    • m5_in_pps:流入数据包数
    • m6_out_pps:流出数据包数
    • m7_in_Bps:网络流入速率
    • m8_out_Bps:网络流出速率

  4. 按Prometheus的格式汇聚数据,并通过“/metrics”接口开放出去。

    Prometheus客户端可以方便的实现“/metrics”接口,具体请参见Prometheus CLIENT LIBRARIES,开发Exporter具体方法请参见WRITING EXPORTERS

我们使用cookie来确保您的高速浏览体验。继续浏览本站,即表示您同意我们使用cookie。 详情

文档反馈

文档反馈

意见反馈

0/500

标记内容

同时提交标记内容