使用HPA策略实现工作负载弹性伸缩

1. 返回CCE控制台。单击新建的集群名称，进入集群控制台。
2. 在左侧菜单栏中选择“工作负载”，单击右上角“创建工作负载”，进入创建页。
3. 配置工作负载基本信息，具体参数示例请参见图6和表6。

   本示例中仅解释必要参数，其他参数保留默认值。关于其他参数的详细说明，请参见创建工作负载，您可以根据工作负载类型选择适合的参考文档。

   图6 工作负载基本信息
   

   表6 工作负载基本信息

   参数	示例	参数说明
   负载类型	无状态负载 Deployment	工作负载是一种对Pod的抽象管理方式，用于定义和控制Pod的创建、运行和生命周期。通过工作负载，您可以批量管理和自动化控制多个Pod的行为，如伸缩、更新和恢复。 无状态负载（Deployment）：管理无状态应用，支持上线部署、滚动升级、创建副本和恢复上线。 有状态负载（StatefulSet）：管理有状态应用，确保每个Pod能够拥有独立的持久化状态，并能够在Pod重启或迁移时恢复其数据，以保障应用的可靠性和一致性。 普通任务（Job）：一次性任务，完成后Pod自动删除。 定时任务（CronJob）：基于时间的Job，指定时间周期内运行指定的Job。 了解工作负载的更多内容，请参见工作负载概述。 hpa-example主要用于压力测试，不需要在本地保存任何持久性数据，因此本示例将hpa-example部署为无状态负载。
   负载名称	hpa-example	请填写工作负载的名称。 工作负载名称长度范围为1-63个字符，可以包含小写英文字母、数字和和中划线(-)，并以小写英文字母开头，小写英文字母或数字结尾。
   命名空间	default	命名空间是Kubernetes集群中的抽象概念，可以将集群中的资源或对象划分为一个组，且不同命名空间中的数据彼此隔离，您可以根据需要创建并使用命名空间。 集群创建后会默认生成default命名空间，如果没有特殊要求，可以直接选择default命名空间。
   实例数量	1	工作负载中Pod的数量。Pod实例数量的设置策略： 高可用性：如果您需要保证工作负载的高可用性，则实例数量至少设置为2，避免单点故障。 性能要求：您需要根据工作负载的流量和资源需求设置实例数量，避免过载或资源浪费。 本示例仅做演示，实例数量设置为1。

4. 配置工作负载容器信息，具体参数示例请参见图7和表7。

   本示例中仅解释必要参数，其他参数保留默认值。关于其他参数的详细说明，请参见创建工作负载，您可以根据工作负载类型选择适合的参考文档。

   图7 工作负载容器信息
   

   表7 工作负载容器信息

   参数	示例	参数说明
   镜像名称	hpa-example	单击“选择镜像”，在弹出的窗口中切换至“我的镜像”，选择上传的hpa-example镜像。
   镜像版本	latest	选择需要部署的镜像版本。
   CPU配额	0.25cores	CPU资源限制值，即允许容器使用的CPU最大值，防止占用过多资源，默认0.25cores。
   内存配额	512MiB	内存资源限制值，即允许容器使用的内存最大值。如果超过，容器会被终止，默认512MiB。

5. 单击“服务配置”下的，进入创建服务页面，配置工作负载服务信息，具体参数示例请参见图8和表8。

   本示例仅解释必要参数，其他参数保留默认值。关于其他参数的详细说明，请参见服务（Service），您可以根据服务类型选择适合的参考文档。

   图8 工作负载服务信息
   

   表8 工作负载服务信息

   参数	示例	参数说明
   Service名称	hpa-example	请填写服务的名称。 服务名称长度范围为1-63个字符，可以包含小写英文字母、数字和和中划线(-)，并以小写英文字母开头，小写英文字母或数字结尾。
   访问类型	负载均衡	选择服务类型，即服务访问的方式。 集群内访问：通过集群的内部IP暴露服务，只能够在集群内部访问。 负载均衡：通过弹性负载均衡（ELB）对外部提供服务，即能够从公网访问到工作负载。 本示例中需要外部访问hpa-example，所以访问类型设置为负载均衡。
   负载均衡器	独享型 网络型(TCP/UDP)&应用型(HTTP/HTTPS) 选择已有 elb-hpa-example	如果已有弹性负载均衡（ELB）实例，可以选择已有ELB实例。 说明： 使用已有的ELB时，ELB实例需要具备3个条件： 与集群属于同一VPC。 实例类型为独享型。 网络类型必须支持私网（存在私有地址）。 如果没有弹性负载均衡（ELB）实例，请选择“自动创建”，创建一个负载均衡器，并绑定弹性公网IP，具体操作请参见创建负载均衡类型的服务。
   端口配置	协议：TCP	负载均衡监听器端口协议。
   	容器端口：80	容器中应用启动监听的端口，该容器端口需和应用对外提供的监听端口一致。
   	服务端口：80	ELB将会使用该端口创建监听器，提供外部流量访问入口，可自定义。

6. 单击右下角“创建工作负载”。

   创建成功后，无状态工作负载列表中对应工作负载的状态为运行中。

   图9 工作负载运行中
   

7. 单击hpa-example工作负载名称，进入工作负载详情页，获取hpa-example的外部访问地址。在“访问方式”页签下可以看到hpa-example的IP地址，“负载均衡公网IP：访问端口”即为外部访问地址。其中，“负载均衡公网IP”为5中ELB实例的公网地址，“访问端口”为5中的“服务端口”。
   图10 访问方式
   

1. 在ECS中安装kubectl命令行工具。您可以尝试执行kubectl version命令判断是否已安装kubectl，如果已经安装kubectl，则可跳过此步骤。
   1. 执行以下命令，下载kubectl。

      cd /home
      curl -LO https://dl.k8s.io/release/{v1.28.0}/bin/linux/amd64/kubectl

      其中{v1.28.0}为指定的版本号，请根据集群版本进行替换。

   2. 执行以下命令，安装kubectl。

      chmod +x kubectl
      mv -f kubectl /usr/local/bin

2. 为kubectl命令行工具配置访问Kubernetes集群的凭证。

   1. 返回CCE控制台，并单击集群名称进入集群总览页。
   2. 在集群总览页中找到“连接信息”模块。单击kubectl后的“配置”，查看kubectl的连接信息。
   3. 在弹出页面中选择“内网访问”，然后下载对应的配置文件。
   4. 登录已安装kubectl工具的ECS，将上一步中下载的配置文件（以kubeconfig.yaml为例）复制到/home目录下。
   5. 将kubectl认证文件保持至$HOME/.kube目录下的config文件中。

      cd /home
      mkdir -p $HOME/.kube
      mv -f kubeconfig.yaml $HOME/.kube/config
   6. 执行kubectl命令验证集群的连通性。

      以查看集群信息为例，执行以下命令。

      kubectl cluster-info

      回显内容如下，则说明集群连接成功。

      Kubernetes control plane is running at https://xx.xx.xx.xx:5443
      CoreDNS is running at https://xx.xx.xx.xx:5443/api/v1/namespaces/kube-system/services/coredns:dns/proxy
      To further debug and diagnose cluster problems, use 'kubectl cluster-info dump'.

3. 执行以下命令，创建YAML文件hpa-example.yaml，用于配置hpa-example工作负载，文件名称可自定义。

   vim hpa-example.yaml

   文件内容如下：

   apiVersion: apps/v1
   kind: Deployment
   metadata:
     name: hpa-example     # 工作负载名称
   spec:
     replicas: 1     # 实例数量
     selector:
       matchLabels:  # 选择器，用于选择带有特定标签的资源
         app: hpa-example  
     template:
       metadata:
         labels:     # 标签
           app: hpa-example
       spec:
         containers:
         - name: container-1
           image: 'swr.cn-east-3.myhuaweicloud.com/test/hpa-example:latest' # 替换为您上传到SWR的镜像地址
           resources:
             limits:  # limits与requests建议取值保持一致，避免扩缩容过程中出现震荡 
               cpu: 250m
               memory: 512Mi
             requests:
               cpu: 250m
               memory: 512Mi
         imagePullSecrets:
         - name: default-secret
   说明：

   “swr.cn-east-3.myhuaweicloud.com/test/hpa-example:latest”需替换为您上传到SWR的镜像地址，镜像地址即为步骤上传镜像至镜像仓库中docker push后内容。

   输入完成后，按Esc键退出编辑，输入:wq保存。

4. 执行以下命令，创建工作负载。

   kubectl create -f hpa-example.yaml

   回显如下，表示已经开始创建工作负载。

   deployment.apps/hpa-example created

5. 执行以下命令，查看工作负载状态。

   kubectl get deployment

   回显如下，如果READY值为1/1，则说明工作负载创建的Pod皆为可用状态，即创建成功。

   NAME           READY   UP-TO-DATE   AVAILABLE   AGE
   hpa-example    1/1     1            1           4m59s

   回显内容的参数说明如下：

   表9 回显内容参数说明

   参数	示例	参数说明
   NAME	hpa-example	工作负载的名称。
   READY	1/1	表示工作负载的可用状态，显示为“可用Pod个数/期望Pod个数”。
   UP-TO-DATE	1	指当前工作负载已经完成更新的Pod数。
   AVAILABLE	1	工作负载可用的Pod个数。
   AGE	4m59s	工作负载已经运行的时间。

6. 执行以下命令，创建YAML文件nginx-elb-svc.yaml，用于配置负载均衡服务并关联已创建的工作负载hpa-example，文件名称可自定义。
   本示例基于已有的弹性负载均衡（ELB）实例创建服务，如果您需要自动创建ELB请参考通过kubectl命令行创建-自动创建ELB。

   vim hpa-example-elb-svc.yaml

   文件内容如下：

   apiVersion: v1 
   kind: Service 
   metadata: 
     name: hpa-example      # 服务的名称
     annotations:
       kubernetes.io/elb.id: <your_elb_id>          # ELB ID，替换为实际值
       kubernetes.io/elb.class: performance         # 负载均衡器类型
   spec:
     selector:             # selector取值需与3中工作负载YAML文件的matchLabels参数取值一致
        app: hpa-example
     ports: 
     - name: service0 
       port: 80     
       protocol: TCP 
       targetPort: 80  
     type: LoadBalancer

   输入完成后，按Esc键退出编辑，输入:wq保存。

   表10 使用已有ELB参数说明

   参数	示例	参数说明
   kubernetes.io/elb.id	405ef586-0397-45c3-bfc4-xxx	已有的ELB的ID。 说明： 使用已有的ELB时，ELB实例需要具备3个条件： 与集群属于同一VPC。 实例类型为独享型。 网络类型必须支持私网（存在私有地址）。 获取方式：进入网络控制台，选择“弹性负载均衡 > 我的ELB”，找到对应的ELB名称，名称下方即为对应ID。同时，单击ELB实例名称，在“基本信息”页签中验证该ELB是否满足上述条件。
   kubernetes.io/elb.class	performance	负载均衡器类型，仅支持performance类型，即独享型负载均衡。
   selector	app: hpa-example	选择器，服务将流量发送给对应标签的Pod。
   ports.port	8080	弹性负载均衡（ELB）将会使用该端口创建监听器，提供外部流量访问入口，可自定义。
   ports.protocol	TCP	负载均衡监听器端口协议。
   ports.targetPort	80	Service访问目标容器的端口，此端口与容器中运行的应用强相关。

7. 执行以下命令创建服务。

   kubectl create -f hpa-example-elb-svc.yaml

   回显如下，表示服务已创建。

   service/hpa-example created

8. 执行以下命令查看服务。

   kubectl get svc

   回显内容如下，表示工作负载访问方式已设置成功。您可以通过“外部访问地址：服务端口”访问该工作负载，其中外部访问地址为EXTERNAL-IP对应的第一个IP地址的，服务端口为8080。

   NAME             TYPE           CLUSTER-IP     EXTERNAL-IP                  PORT(S)          AGE
   kubernetes       ClusterIP      10.247.0.1     <none>                       443/TCP          18h
   hpa-example      LoadBalancer   10.247.56.18   xx.xx.xx.xx,xx.xx.xx.xx      8080:30581/TCP   5m8s

本示例中仅解释必要参数，其他参数保留默认值。关于默认参数的详细说明，请参见Pod水平自动扩缩。

1. 返回集群总览页，左侧菜单栏选择“策略”，单击右上角“创建HPA策略”，进入创建页。
2. 填写策略基础信息，具体参数说明请参见表11。
   图11 策略基本信息
   

   表11 策略基本信息

   参数	示例	参数说明
   策略名称	hpa-example	请填写策略的名称。
   命名空间	default	命名空间是Kubernetes集群中的抽象概念，可以将集群中的资源或对象划分为一个组，且不同命名空间中的数据彼此隔离，您可以根据需要创建并使用命名空间。 集群创建后会默认生成default命名空间，如果没有特殊要求，可以直接选择default命名空间。
   关联工作负载	hpa-example	请选择步骤四：使用hpa-example镜像创建工作负载中创建的工作负载。 说明： 弹性伸缩策略会根据名称匹配关联工作负载，若相同命名空间下的多个工作负载中app的label相同，会导致弹性伸缩策略不符合预期。

3. 进行“策略配置”，具体参数示例请参见表12。
   图12 策略配置
   

   表12 策略配置

   参数	示例	参数说明
   实例范围	1-10	表示工作负载创建的Pod实例的伸缩范围。
   伸缩配置	系统默认	用于选择伸缩配置策略，有以下两种配置策略： 系统默认：稳定窗口和步长等策略直接采用K8S社区推荐的默认行为，更多信息请参见Pod水平自动扩缩。 自定义：用户可以自定义稳定窗口和步长等策略实现更灵活的配置，未配置的参数将采用社区推荐的默认值，更多信息请参见Pod水平自动扩缩。
   系统策略	指标：CPU利用率	HPA可以通过跟踪相关指标的资源用量，触发Pod实例的扩缩操作。 CPU利用率：工作负载容器组（Pod）的实际使用量/申请量。 内存利用率：工作负载容器组（Pod）的实际使用量/申请量。
   	期望值：50%	表示所选指标的期望值，可以用来计算需要伸缩的实例数，即“需要伸缩的实例数=（当前指标值/期望值）×当前实例数”。
   	容忍范围：30%-70%	表示伸缩的触发范围，当指标处于范围内时不会触发伸缩，可以避免轻微波动引发的频繁调整，保证系统的稳定性。需要注意的是，期望值必须在容忍范围内。

4. 单击“创建”。您可以在“HPA策略”列表中看到已创建的策略，最新状态为“已启动”。
   图13 HPA策略已启动
   

1. 执行以下命令，创建YAML文件hpa-policy.yaml，用于配置HPA策略，文件名称可自定义。

   vim hpa-policy.yaml

   文件内容如下：

   apiVersion: autoscaling/v2
   kind: HorizontalPodAutoscaler
   metadata:
     name: hpa-example   # HPA策略的名称
     namespace: default  # 命名空间
     annotations:
       # 定义伸缩的触发条件：CPU利用率在30%到70%之间时，不会进行伸缩操作，反之，则会进行伸缩操作。
       extendedhpa.metrics: '[{"type":"Resource","name":"cpu","targetType":"Utilization","targetRange":{"low":"30","high":"70"}}]'
   spec:
     scaleTargetRef:     # 关联的工作负载信息
       kind: Deployment
       name: hpa-example
       apiVersion: apps/v1
     minReplicas: 1     # 工作负载内Pod数量的最小阈值
     maxReplicas: 10   # 工作负载内Pod数量的最大阈值
     metrics:
       - type: Resource  # 设置监控的资源
         resource:
           name: cpu      # 设置资源为cpu，还可以设置为memory
           target:
             type: Utilization  # 设置指标为利用率
             averageUtilization: 50  # HPA控制器会维持伸缩目标中的Pod的平均资源利用率在50%

   输入完成后，按Esc键退出编辑，输入:wq保存。

2. 执行以下命令创建HPA策略。

   kubectl create -f hpa-policy.yaml

   回显如下，表示策略已创建。

   horizontalpodautoscaler.autoscaling/hpa-example created

3. 执行以下命令查看创建的HPA策略。

   kubectl get hpa

   回显结果如下：

   NAME          REFERENCE                TARGETS         MINPODS   MAXPODS   REPLICAS   AGE
   hpa-example   Deployment/hpa-example   <unknown>/50%   1         10        0          10s

1. 登录步骤三：创建算力密集型应用并上传SWR中使用的ECS。
2. 执行以下命令循环访问工作负载，其中“ip:port”为工作负载的访问地址，与7中的“负载均衡公网IP：访问端口”一致。

   while true;do wget -q -O- http://ip:port; done

   回显结果如下：

   OK!
   OK!
   ...

3. 返回CCE控制台，单击新建的集群名称，进入集群控制台。左侧导航栏单击“工作负载”，单击“工作负载名称”。单击搜索栏右侧，观察工作负载自动扩容过程，可以发现工作负载hpa-example创建的Pod实例个数由1个扩容至2个。
   图14 工作负载自动扩容
   

4. 返回ECS，利用Ctrl+c停止访问工作负载，观察工作负载自动缩容过程。

   返回控制台界面，单击搜索栏右侧。工作负载缩容的稳定窗口默认为300秒，即缩容策略成功触发后，不会立即对目标进行缩容，需要先冷却300秒，以防止短期波动造成影响

   图15 工作负载缩容
   

1. 执行以下命令循环访问工作负载，其中“ip:port”为工作负载的访问地址，与8中的“外部访问地址：服务端口”相对应。

   while true;do wget -q -O- http://ip:port; done

   回显结果如下：

   OK!
   OK!
   ...

2. 在页面左上方单击“终端 > 新建会话”，新建一个服务器页面，执行以下命令观察工作负载自动扩容过程。

   kubectl get hpa hpa-policy --watch

   回显结果如下：

   NAME          REFERENCE                TARGETS   MINPODS   MAXPODS   REPLICAS   AGE
   hpa-example   Deployment/hpa-example   24%/50%   1         10        1          17m
   hpa-example   Deployment/hpa-example   100%/50%   1         10        1          17m
   hpa-example   Deployment/hpa-example   100%/50%   1         10        2          18m
   hpa-example   Deployment/hpa-example   100%/50%   1         10        2          18m
   hpa-example   Deployment/hpa-example   57%/50%    1         10        2          19m
   hpa-example   Deployment/hpa-example   57%/50%    1         10        2          20m
   ...

   表13 回显结果参数说明

   参数	示例	说明
   NAME	hpa-example	HPA策略的名称。 本示例中HPA策略名称为hpa-example。
   REFERENCE	Deployment/hpa-example	HPA策略管理的对象。 本示例中为无状态工作负载hpa-example。
   TARGETS	24%/50%	HPA策略监控指标的当前值和期望值。 本示例中监控指标为CPU利用率，24%表示CPU利用率的当前值，50%表示CPU利用率的期望值。
   MINPODS	1	HPA策略允许的最小Pod实例数量。 本示例中允许的最小Pod实例数量为1，当Pod实例数量为1时，即使当前CPU利用率低于容忍范围，也不会进行缩容。
   MAXPODS	10	HPA策略允许的最大Pod实例数量。 本示例中允许的最大Pod实例数量为10，当Pod实例数量为10时，即使当前CPU利用率高于容忍范围，也不会进行扩容。
   REPLICAS	1	当前实际运行的Pod实例数量。
   AGE	17m	HPA策略已存在的时间。

   • 第2条记录中，工作负载的CPU利用率为100%，超过70%，触发弹性伸缩。
   • 第3条记录中，工作负载将Pod实例数量由1扩容至2。
   • 第5条记录中，工作负载的CPU利用率降至57%，属于30%~70%，并未触发弹性伸缩。

3. 在1所在的服务器页面中利用Ctrl+c停止访问工作负载，观察负载自动缩容过程。

   在2所在的服务器页面中，继续观察回显结果。值得注意的是，工作负载缩容的稳定窗口默认为300秒，即缩容策略成功触发后，不会立即对目标进行缩容，需要先冷却300秒，以防止短期波动造成影响。

   NAME          REFERENCE                TARGETS   MINPODS   MAXPODS   REPLICAS   AGE
   ...
   hpa-example   Deployment/hpa-example   19%/50%    1         10        2          30m
   hpa-example   Deployment/hpa-example   0%/50%     1         10        2          31m
   hpa-example   Deployment/hpa-example   0%/50%     1         10        2          35m
   hpa-example   Deployment/hpa-example   0%/50%     1         10        1          36m
   ...
   • 第1条记录中，工作负载的CPU利用率为19%，低于30%，触发弹性伸缩。但此时处于冷却时间，因此工作负载并未立即缩容。
   • 第4条记录中，工作负载将Pod实例数量由2缩容至1，达到最低实例数量，不再触发弹性伸缩。