# 负载均衡服务注解（Annotations）配置全集 通过在YAML中添加注解（Annotations），您可以实现CCE提供的一些高级功能。本文介绍在创建LoadBalancer类型的Service时可供使用的Annotations。 #### 索引 | 功能分类 | 负载均衡注解配置 | |:---|:---| | ELB配置 | - [对接ELB] - [会话保持] - [健康检查] - [pass-through能力] - [添加资源标签] - [修改自定义EIP] - [为自动创建的ELB配置回收策略] | | 端口/协议配置 | - [使用HTTP/HTTPS/QUIC协议] - [配置服务器名称指示（SNI）] - [使用HTTP/2] - [配置双向认证] - [配置监听器后端分配策略] | | ELB监听器高级配置 | - [动态调整后端云服务器权重] - [跨集群访问] - [黑名单/白名单设置] - [主机网络] - [设置超时时间] - [配置HTTP/HTTPS头字段] - [开启gzip压缩] - [配置ELB后端优雅退出] - [配置获取客户端IP] - [配置区间端口监听] - [配置IP类型的后端] - [配置StatefulSet后端Pod的权重] - [取消关联ELB的监听器托管] - [配置新建与并发限速] | #### 对接ELB 表1对接ELB注解 | 参数 | 类型 | 描述 | 支持的集群版本 | |:---|:---|:---|:---| | kubernetes.io/elb.class | String | 请根据不同的应用场景和功能需求选择合适的负载均衡器类型。**该参数在创建完成后不可修改**。 取值如下： - union：共享型负载均衡。 - performance：独享型负载均衡，仅支持1.17及以上集群，详情请参见[共享型弹性负载均衡与独享型负载均衡的功能区别](https://support.huaweicloud.com/productdesc-elb/elb_pro_0004.html)。 默认取值为union。 | v1.9及以上 | | kubernetes.io/elb.id | String | **仅关联已有ELB的场景需填写** 。**该参数在创建完成后不可修改**。 为负载均衡实例的ID。 **获取方法：** 登录[ELB控制台](https://console.huaweicloud.com/vpc/#/elb/list/grid)，单击ELB的名称，在ELB详情页的"基本信息"页签下找到"ID"字段复制即可。 说明： 系统优先根据kubernetes.io/elb.id注解对接ELB，若此字段未指定，则会根据spec.loadBalancerIP字段对接ELB。由于spec.loadBalancerIP字段在将来的集群版本中可能会被Kubernetes官方废弃，建议使用注解方式对接ELB，详情请参见[Deprecation](https://github.com/kubernetes/kubernetes/blob/8f2371bcceff7962ddb4901c36536c6ff659755b/CHANGELOG/CHANGELOG-1.24.md#changes-by-kind-13)。 | v1.9及以上 | | kubernetes.io/elb.autocreate | [表28] | **仅自动创建ELB的场景** ：必填。**该参数在创建完成后不可修改**。 注意： kubernetes.io/elb.id 和kubernetes.io/elb.autocreate不能同时填写。 如果在Service中同时填写以上两个注解，CCE优先使用已有的ELB实例，而不会再自动创建新的ELB实例。在这种情况下如果删除Service，这个已有的ELB会被系统视作自动创建，如果该ELB未关联其他资源，则会被同时删除。 **示例：** - 自动创建公网独享型ELB： 值为'{"type":"public","bandwidth_name":"cce-bandwidth-1741230802502","bandwidth_chargemode":"bandwidth","bandwidth_size":5,"bandwidth_sharetype":"PER","eip_type":"5_bgp","available_zone":\["\*\*\*\*\*"\],"elb_virsubnet_ids":\["\*\*\*\*\*"\],"l7_flavor_name":"","l4_flavor_name":"L4_flavor.elb.pro.max","vip_subnet_cidr_id":"\*\*\*\*\*"}' - 自动创建私网独享型ELB： 值为'{"type":"inner","available_zone":\["\*\*\*\*\*"\],"elb_virsubnet_ids":\["\*\*\*\*\*"\],"l7_flavor_name":"","l4_flavor_name":"L4_flavor.elb.pro.max","vip_subnet_cidr_id":"\*\*\*\*\*"}' - 自动创建公网共享型ELB： 值为 '{"type":"public","bandwidth_name":"cce-bandwidth-1551163379627","bandwidth_chargemode":"bandwidth","bandwidth_size":5,"bandwidth_sharetype":"PER","eip_type":"5_bgp","name":"james"}' - 自动创建私网共享型ELB： 值为 '{"type":"inner", "name": "A-location-d-test"}' - 自动创建加入共享带宽的公网独享型ELB： 值为'{"type":"public","bandwidth_id":"\*\*\*\*\*","bandwidth_sharetype":"WHOLE","eip_type":"5_bgp","available_zone":\["\*\*\*\*\*"\],"elb_virsubnet_ids":\["\*\*\*\*\*"\],"l7_flavor_name":"","l4_flavor_name":"L4_flavor.elb.pro.max","vip_subnet_cidr_id":"\*\*\*\*\*"}' - 自动创建加入共享带宽的公网共享型ELB： 值为'{"type":"public","bandwidth_id":"\*\*\*\*\*","bandwidth_sharetype":"WHOLE","eip_type":"5_bgp","name":"james"}' | v1.9及以上 | | kubernetes.io/elb.enterpriseID | String | **仅自动创建ELB的场景**：选填。 **v1.15及以上版本的集群支持此字段，v1.15以下版本默认创建到default项目下。** 为ELB企业项目ID，选择后可以直接创建在具体的ELB企业项目下。 该字段不传（或传为字符串'0'），则将资源绑定给默认企业项目。 **获取方法：** 登录[企业项目管理控制台](https://console.huaweicloud.com/eps/#/projects/list)，在企业项目列表中单击要加入的企业项目名称，进入企业项目详情页，找到"ID"字段复制即可。 | v1.15及以上 | | kubernetes.io/elb.subnet-id | String | **仅自动创建ELB的场景**：选填。 为集群所在子网的ID，取值范围：1-100字符。 - Kubernetes v1.11.7-r0及以下版本的集群自动创建时：必填 - Kubernetes v1.11.7-r0以上版本的集群：可不填。 | v1.11.7-r0以下必填 v1.11.7-r0以上该字段废弃 | | kubernetes.io/elb.lb-algorithm | String | 后端云服务器组的负载均衡算法，默认值为"ROUND_ROBIN"。 取值范围： - ROUND_ROBIN：加权轮询算法。 - LEAST_CONNECTIONS：加权最少连接算法。 - SOURCE_IP：源IP算法。 说明： 当该字段的取值为SOURCE_IP时，后端云服务器组绑定的后端云服务器的权重设置（weight字段）无效，且不支持开启会话保持。 | v1.9及以上 | 上述注解的使用方法如下： - 关联已有ELB场景：详情请参见[通过kubectl命令行创建-使用已有ELB](https://support.huaweicloud.com/usermanual-cce/cce_10_0681.html#cce_10_0681__section74196215320) ``` apiVersion: v1 kind: Service metadata: name: nginx annotations: kubernetes.io/elb.id: # ELB ID，替换为实际值 kubernetes.io/elb.class: performance # 负载均衡器类型 kubernetes.io/elb.lb-algorithm: ROUND_ROBIN # 负载均衡器算法 spec: selector: app: nginx ports: - name: service0 port: 80 protocol: TCP targetPort: 80 type: LoadBalancer ``` - 自动创建ELB场景：详情请参见[通过kubectl命令行创建-自动创建ELB](https://support.huaweicloud.com/usermanual-cce/cce_10_0681.html#cce_10_0681__section6422152185311) 共享型负载均衡： ``` apiVersion: v1 kind: Service metadata: annotations: kubernetes.io/elb.class: union kubernetes.io/elb.autocreate: '{ "type": "public", "bandwidth_name": "cce-bandwidth-1551163379627", "bandwidth_chargemode": "bandwidth", "bandwidth_size": 5, "bandwidth_sharetype": "PER", "eip_type": "5_bgp" }' kubernetes.io/elb.enterpriseID: '0' # 负载均衡所属企业项目ID kubernetes.io/elb.lb-algorithm: ROUND_ROBIN # 负载均衡器算法 labels: app: nginx name: nginx spec: ports: - name: service0 port: 80 protocol: TCP targetPort: 80 selector: app: nginx type: LoadBalancer ``` 独享型负载均衡： ``` apiVersion: v1 kind: Service metadata: name: nginx labels: app: nginx namespace: default annotations: kubernetes.io/elb.class: performance kubernetes.io/elb.autocreate: '{ "type": "public", "bandwidth_name": "cce-bandwidth-1626694478577", "bandwidth_chargemode": "bandwidth", "bandwidth_size": 5, "bandwidth_sharetype": "PER", "eip_type": "5_bgp", "available_zone": [ "cn-north-4b" ], "l4_flavor_name": "L4_flavor.elb.s1.small" }' kubernetes.io/elb.enterpriseID: '0' # 负载均衡所属企业项目ID kubernetes.io/elb.lb-algorithm: ROUND_ROBIN # 负载均衡器算法 spec: selector: app: nginx ports: - name: cce-service-0 targetPort: 80 nodePort: 0 port: 80 protocol: TCP type: LoadBalancer ``` #### 会话保持 表2会话保持注解 | 参数 | 类型 | 描述 | 支持的集群版本 | |:---|:---|:---|:---| | kubernetes.io/elb.session-affinity-mode | String | 支持基于源IP地址的简单会话保持，即来自同一IP地址的访问请求转发到同一台后端服务器上。 - 不启用：不填写该参数。 - 开启会话保持：需增加该参数，取值"SOURCE_IP"，表示基于源IP地址。 说明： 当kubernetes.io/elb.lb-algorithm设置为"SOURCE_IP"（源IP算法）时，不支持开启会话保持。 | v1.9及以上 | | kubernetes.io/elb.session-affinity-option | [表31] | ELB会话保持配置选项，可设置会话保持的超时时间。 | v1.9及以上 | 上述注解的使用方法如下： ``` apiVersion: v1 kind: Service metadata: name: nginx annotations: kubernetes.io/elb.id: # ELB ID，替换为实际值 kubernetes.io/elb.class: performance # 负载均衡器类型 kubernetes.io/elb.session-affinity-mode: SOURCE_IP # 会话保持类型为源IP kubernetes.io/elb.session-affinity-option: '{"persistence_timeout": "30"}' # 会话保持时间（分钟） spec: selector: app: nginx ports: - name: service0 port: 80 protocol: TCP targetPort: 80 type: LoadBalancer ``` #### 健康检查 表3健康检查注解 | 参数 | 类型 | 描述 | 支持的集群版本 | |:---|:---|:---|:---| | kubernetes.io/elb.health-check-flag | String | 是否开启ELB健康检查功能。如果未添加该注解，则默认设置为开启。 - 开启：空值或"on" - 关闭："off" 开启时需同时填写[kubernetes.io/elb.health-check-option]或[kubernetes.io/elb.health-check-options]字段，否则ELB健康检查功能不生效。 | v1.9及以上 | | kubernetes.io/elb.health-check-option | [表29] | ELB健康检查配置选项。 | v1.9及以上 | | kubernetes.io/elb.health-check-options | [表30] | ELB健康检查配置选项。支持Service每个端口单独配置，且可以只配置部分端口。 说明： 不允许同时配置 "kubernetes.io/elb.health-check-option" 和 "kubernetes.io/elb.health-check-options"。 | v1.19.16-r5及以上 v1.21.8-r0及以上 v1.23.6-r0及以上 v1.25.2-r0及以上 | - kubernetes.io/elb.health-check-option的使用方法如下： ``` apiVersion: v1 kind: Service metadata: name: nginx annotations: kubernetes.io/elb.id: # ELB ID，替换为实际值 kubernetes.io/elb.class: performance # 负载均衡器类型 kubernetes.io/elb.health-check-flag: 'on' # 开启ELB健康检查功能 kubernetes.io/elb.health-check-option: '{ "protocol":"TCP", "delay":"5", "timeout":"10", "max_retries":"3" }' spec: selector: app: nginx ports: - name: service0 port: 80 protocol: TCP targetPort: 80 type: LoadBalancer ``` - kubernetes.io/elb.health-check-options的使用方法请参见[为负载均衡类型的Service指定多个端口配置健康检查](https://support.huaweicloud.com/usermanual-cce/cce_10_0684.html)。 #### pass-through能力 表4pass-through注解 | 参数 | 类型 | 描述 | 支持的集群版本 | |:---|:---|:---|:---| | kubernetes.io/elb.pass-through | String | 集群内访问Service是否经过ELB。 | v1.19及以上 | 具体使用场景和说明请参见[为负载均衡类型的Service配置pass-through能力](https://support.huaweicloud.com/usermanual-cce/cce_10_0355.html)。 #### 添加资源标签 表5添加资源标签注解 | 参数 | 类型 | 描述 | 支持的集群版本 | |:---|:---|:---|:---| | kubernetes.io/elb.tags | String | 为ELB添加资源标签，仅自动创建ELB时支持设置。 格式为key=value，同时添加多个标签时以英文逗号（,）隔开。 | v1.23.11-r0、v1.25.6-r0、v1.27.3-r0v1.23.8-r1、v1.25.3-r1及以上 | 具体使用场景和说明请参见[通过kubectl命令行创建-自动创建ELB](https://support.huaweicloud.com/usermanual-cce/cce_10_0681.html#cce_10_0681__section6422152185311)。 #### 修改自定义EIP 表6修改自定义EIP注解 | 参数 | 参数类型 | 描述 | 支持的集群版本 | |:---|:---|:---|:---| | kubernetes.io/elb.custom-eip-id | String | 自定义EIP的ID，您可以前往[EIP控制台](https://console.huaweicloud.com/vpc/#/eip/eips/list)查看。该EIP必须是处于可绑定状态。 | v1.23.18-r0、v1.25.13-r0、v1.27.10-r0、v1.28.8-r0、v1.29.4-r0、v1.30.1-r0及以上版本 | 具体使用场景和说明请参见[为负载均衡类型的Service修改自定义EIP](https://support.huaweicloud.com/usermanual-cce/cce_10_0924.html)。 #### 为自动创建的ELB配置回收策略 表7为自动创建的ELB配置回收策略注解 | 参数 | 参数类型 | 描述 | 支持的集群版本 | |:---|:---|:---|:---| | kubernetes.io/elb.instance-reclaim-policy | String | **仅自动创建ELB的场景**：选填。 为自动创建的ELB配置回收策略，取值如下： - 不填或为空（默认行为）：在删除Service/Ingress时删除自动创建的ELB。但是ELB被多个Service/Ingress关联时，如果先删除自动创建ELB的Service/Ingress，即使最后删除了所有的Service/Ingress，ELB也可能残留。 - retain：在删除Service/Ingress时保留自动创建的ELB。 - alwaysDelete：在删除Service/Ingress时会删除自动创建的ELB。若ELB被多个Service/Ingress关联，删除所有的关联该ELB的Service/Ingress后，会保证该ELB被同步删除。 说明： - 当ELB被其他资源关联，或者计费模式转为包年/包月后，即使没有配置回收策略retain，也会保留自动创建的ELB。 - 若多个Service/Ingress使用同一自动创建的ELB，仅在创建了该ELB的Service/Ingress上配置该参数才生效。 | v1.28.15-r60、v1.29.15-r20、v1.30.14-r20、v1.31.10-r20、v1.32.6-r20、v1.33.5-r10及以上 | 上述注解的使用方法如下： ``` apiVersion: v1 kind: Service metadata: name: service-0 labels: app: test version: v1 namespace: default annotations: kubernetes.io/elb.class: performance kubernetes.io/elb.autocreate: '{"type":"inner","available_zone":["******"],"elb_virsubnet_ids":["******"],"ipv6_vip_virsubnet_id":"******","l7_flavor_name":"","l4_flavor_name":"L4_flavor.elb.pro.max","vip_subnet_cidr_id":"******"}' kubernetes.io/elb.enterpriseID: '0' kubernetes.io/elb.lb-algorithm: ROUND_ROBIN kubernetes.io/elb.health-check-flag: 'on' kubernetes.io/elb.health-check-option: '{"protocol":"TCP","delay":"5","timeout":"10","max_retries":"3"}' kubernetes.io/elb.instance-reclaim-policy: retain # 为自动创建的ELB配置回收策略 spec: selector: app: nginx version: v1 externalTrafficPolicy: Cluster ports: - name: cce-service-0 targetPort: 80 nodePort: 0 port: 80 protocol: TCP type: LoadBalancer loadBalancerIP: '' ``` #### 使用HTTP/HTTPS/QUIC协议 表8使用HTTP/HTTPS协议注解 | 参数 | 类型 | 描述 | 支持的集群版本 | |:---|:---|:---|:---| | kubernetes.io/elb.protocol-port | String | Service使用HTTP/HTTPS/QUIC时，需设置协议及端口号，格式为protocol:port。 其中， - protocol：为监听器端口对应的协议，取值为http或https或quic。 - port：为Service的服务端口，即spec.ports\[\].port指定的端口。 | v1.19.16及以上 使用QUIC协议要求v1.28.15-r80、v1.29.15-r40、v1.30.14-r40、v1.31.14-r0、v1.32.9-r0、v1.33.7-r0、v1.34.2-r0及以上 | | kubernetes.io/elb.cert-id | String | ELB服务中的证书ID，作为HTTPS服务器证书。 获取方法：登录[ELB控制台](https://console.huaweicloud.com/vpc/#/elb/list/grid)，选择"证书管理"。在列表中复制对应证书名称下的ID即可。 | v1.19.16及以上 | 具体使用场景和说明请参见[为负载均衡类型的Service配置HTTP/HTTPS协议](https://support.huaweicloud.com/usermanual-cce/cce_10_0683.html)和[为负载均衡类型的Service配置QUIC监听器](https://support.huaweicloud.com/usermanual-cce/cce_10_1100.html)。 #### 配置服务器名称指示（SNI） 表9配置服务器名称指示（SNI）注解 | 参数 | 类型 | 描述 | 支持的集群版本 | |:---|:---|:---|:---| | kubernetes.io/elb.tls-certificate-ids | String | ELB服务中的SNI证书ID列表（SNI证书中必须带有域名），不同ID间使用英文逗号隔开。 获取方法：登录[ELB控制台](https://console.huaweicloud.com/vpc/#/elb/list/grid)，选择"证书管理"。在列表中复制对应证书名称下的ID即可。 | v1.23.13-r0、v1.25.8-r0、v1.27.5-r0、v1.28.3-r0及以上版本 | 需要开启HTTPS协议配合使用，具体使用场景和说明请参见[为负载均衡类型的Service配置服务器名称指示（SNI）](https://support.huaweicloud.com/usermanual-cce/cce_10_0841.html)。 #### 使用HTTP/2 表10使用HTTP/2注解 | 参数 | 类型 | 描述 | 支持的集群版本 | |:---|:---|:---|:---| | kubernetes.io/elb.http2-enable | String | 表示HTTP/2功能的开启状态。开启后，可提升客户端与ELB间的访问性能，但ELB与后端服务器间仍采用HTTP1.X协议。 取值范围： - true：开启HTTP/2功能； - false：关闭HTTP/2功能（默认为关闭状态）。 注意：**只有当监听器的协议为HTTPS时，才支持开启或关闭HTTP/2功能**。当监听器的协议为HTTP时，该字段无效，默认将其设置为false。 | v1.23.13-r0、v1.25.8-r0、v1.27.5-r0、v1.28.3-r0及以上版本 | 具体使用场景和说明请参见[为负载均衡类型的Service配置HTTP/2](https://support.huaweicloud.com/usermanual-cce/cce_10_0842.html)。 #### 配置双向认证 表11配置双向认证注解 | 参数 | 参数类型 | 描述 | 支持的集群版本 | |:---|:---|:---|:---| | kubernetes.io/elb.client-ca-cert-id | String | 仅配置双向认证时填写该注解，ELB服务中的证书ID，作为CA证书。 获取方法：在[ELB控制台](https://console.huaweicloud.com/vpc/#/elb/list/grid)，选择"证书管理"。在列表中复制对应证书名称下的ID即可。 | 独享型ELB在v1.23.14-r0、v1.25.9-r0、v1.27.6-r0、v1.28.4-r0及以上版本的集群支持。共享型ELB在v1.28.15-r60、v1.29.15-r20、v1.30.14-r20、v1.31.10-r20、v1.32.6-r20、v1.33.5-r10及以上版本的集群支持。 | 上述注解的使用方法如下： ``` apiVersion: v1 kind: Service metadata: name: test labels: app: test namespace: default annotations: kubernetes.io/elb.class: performance kubernetes.io/elb.id: ***** kubernetes.io/elb.protocol-port: https:443 kubernetes.io/elb.cert-id: ***** kubernetes.io/elb.client-ca-cert-id: ***** # 配置双向认证 kubernetes.io/elb.security-pool-protocol: 'off' kubernetes.io/elb.tls-ciphers-policy: tls-1-2 kubernetes.io/elb.lb-algorithm: ROUND_ROBIN kubernetes.io/elb.health-check-flag: 'on' kubernetes.io/elb.health-check-option: '{"protocol":"TCP","delay":"5","timeout":"10","max_retries":"3"}' spec: selector: app: test externalTrafficPolicy: Cluster ports: - name: cce-service-0 targetPort: 80 nodePort: 0 port: 443 protocol: TCP type: LoadBalancer loadBalancerIP: **.**.**.** ``` #### 配置监听器后端分配策略 具体使用场景和示例请参见[为负载均衡类型的Service配置后端为QUIC协议的UDP监听器](https://support.huaweicloud.com/usermanual-cce/cce_10_1107.html)。 表12配置监听器后端分配策略注解 | 参数 | 类型 | 描述 | 支持的集群版本 | |:---|:---|:---|:---| | kubernetes.io/elb.pools-options | String | 后端服务器组配置，支持设置后端协议、分配策略类型以及会话保持。 注解值格式为Json字符串数组，具体配置项和说明请参见[表13]。 注意： 配置kubernetes.io/elb.pools-options注解后，不支持同时配置老的后端分配策略（kubernetes.io/elb.lb-algorithm）、会话保持（kubernetes.io/elb.session-affinity-option或kubernetes.io/elb.session-affinity-options）、后端协议（kubernetes.io/elb.security-pool-protocol）注解。 | v1.28.15-r80、v1.29.15-r40、v1.30.14-r40、v1.31.14-r0、v1.32.9-r0、v1.33.7-r0、v1.34.2-r0及以上 | 上述注解的使用样例如下： ``` apiVersion: v1 kind: Service metadata: name: test labels: app: nginx namespace: default annotations: kubernetes.io/elb.class: performance kubernetes.io/elb.id: 95df847a-dec7-4c7f-8e8b-5422344f6153 kubernetes.io/elb.protocol-port: https:443 kubernetes.io/elb.cert-id: d30be9bc114a40099bc2c8e4d1855eb3 kubernetes.io/elb.pools-options: '[{"protocol":"HTTP","lb_algorithm":"ROUND_ROBIN","target_service_port":"TCP:443"}]' kubernetes.io/elb.health-check-flag: 'on' kubernetes.io/elb.health-check-option: '{"protocol":"TCP","delay":"5","timeout":"10","max_retries":"3"}' spec: selector: app: nginx externalTrafficPolicy: Cluster ports: - name: cce-service-0 targetPort: 80 nodePort: 0 port: 443 protocol: TCP type: LoadBalancer loadBalancerIP: **.**.**.** ``` 表13后端服务器组配置参数说明 | 参数 | 是否必选 | 参数类型 | 描述 | |:---|:---|:---|:---| | protocol | 是 | String | **参数解释**：后端服务器对应的协议。在前端协议和端口没有发生改变时，无法更新后端协议。 **约束限制** ：自定义配置时，需要与前端监听器的协议匹配，匹配规则见[负载均衡前/后端协议对应关系说明及配置样例](https://support.huaweicloud.com/usermanual-cce/cce_10_0681.html#cce_10_0681__section740184231718)。全局配置时，无限制。 **取值范围**：TCP/TLS/UDP/HTTP/HTTPS/QUIC **默认取值**：不涉及 | | target_service_port | 否 | String | **参数解释**：用来匹配该配置在哪个后端服务器组生效，由spec.ports下对应port的协议和端口号组成，如：TCP:80，表示该配置在spec.ports下protocol为TCP，port为80对应的后端服务器组上生效。无该字段或者值为\*时，表示该配置为全局配置，对所有后端服务器组生效。 **约束限制** ：全局配置时，数组长度只能为1。由于单个Service内可以创建不同前端协议的监听器，对应的后端协议会有限制，所以当配置为全局参数时，如果后端协议与前端协议不匹配则将使用默认值，匹配规则见[负载均衡前/后端协议对应关系说明及配置样例](https://support.huaweicloud.com/usermanual-cce/cce_10_0681.html#cce_10_0681__section740184231718)。而配置内的其他参数由于都和后端协议有关系，所以可能会不生效而使用默认值。 **取值范围**：\:\ **默认取值**：无，即使用全局配置 | | lb_algorithm | 是 | String | **参数解释**：分配策略类型，即后端服务器组的负载均衡算法。 **约束限制**： - 当该字段的取值为SOURCE_IP或QUIC_CID时，后端服务器组绑定的后端服务器的weight字段无效。 - 只有pool的protocol为QUIC时，才支持QUIC_CID算法。 **取值范围**： - ROUND_ROBIN：加权轮询算法。 - LEAST_CONNECTIONS：加权最少连接算法。 - SOURCE_IP：源IP算法。 - QUIC_CID：连接ID算法。 **默认取值**：后端协议为QUIC时，取值只能为QUIC_CID。其他协议默认取值为ROUND_ROBIN。 | | session_persistence | 否 | [SessionPersistence](https://support.huaweicloud.com/usermanual-cce/cce_10_1107.html#cce_10_1107__li685191781517) | **参数解释**：会话保持设置。 **约束限制**：无 **默认取值**：不开启 | | quic_cid_hash_strategy | 否 | [QuicCidHashStrategy](https://support.huaweicloud.com/usermanual-cce/cce_10_1107.html#cce_10_1107__li1661353921510) | **参数解释**：后端服务器组基于部分DST CID的多径分发策略配置。 **约束限制**：只有lb_algorithm为QUIC_CID时，才可以设置 **默认取值**：不涉及 | session_persistence和quic_cid_hash_strategy字段 - SessionPersistence | 参数 | 是否必选 | 参数类型 | 描述 | |:---|:---|:---|:---| | type | 是 | String | **参数解释**：会话保持类型。 **约束限制**： - 当pool的protocol为TCP、UDP、QUIC时，type只能是SOURCE_IP。 - 当pool的protocol为HTTP、HTTPS时。type只能是HTTP_COOKIE。 **取值范围**： - SOURCE_IP：基于源IP地址的会话保持，也就是根据客户端的源IP地址将流量持续转发到同一后端服务器（member）。 - HTTP_COOKIE：通过在HTTP响应中插入一个特殊的Cookie，实现会话保持。负载均衡会在后续请求中识别该Cookie，并将请求转发到对应的后端服务器。 **默认取值**：不涉及 | | persistence_timeout | 是 | Integer | **参数解释**：会话保持的时间。 **约束限制**：不涉及 **取值范围**： - 若pool的protocol为TCP、UDP、QUIC则范围为\[1,60\]（分钟）。 - 若pool的protocol为HTTP和HTTPS则范围为\[1,1440\]（分钟）。 **默认取值**：不涉及 | - QuicCidHashStrategy | 参数 | 是否必选 | 参数类型 | 描述 | |:---|:---|:---|:---| | len | 是 | Integer | **参数解释**：表示hash的时候取CID的长度。 **约束限制**：仅当负载均衡算法为QUIC_CID的时候才生效。 **取值范围**：1-20，len + offset \<= 20。 **默认取值**：3 | | offset | 是 | Integer | **参数解释**：表示hash的时候取CID的偏移量。 **约束限制**：仅当负载均衡算法为QUIC_CID的时候才生效。 **取值范围**：0-19，len + offset \<= 20。 **默认取值**：1 | #### 动态调整后端云服务器权重 表14动态调整后端云服务器权重注解 | 参数 | 类型 | 描述 | 支持的集群版本 | |:---|:---|:---|:---| | kubernetes.io/elb.adaptive-weight | String | 根据节点上的Pod数量动态调整ELB后端云服务器的权重。每个Pod收到的负载请求更加均衡。 - 开启：true - 关闭：false | v1.21及以上 | ![](https://support.huaweicloud.com/usermanual-cce/public_sys-resources/note_3.0-zh-cn.png) 该参数在ELB直通Pod场景（即CCE Turbo集群中使用独享型ELB实例的场景）中无效。 该参数在配置[ELB跨集群访问](https://support.huaweicloud.com/usermanual-cce/cce_10_0682.html)时无效。 上述注解的使用方法如下： ``` apiVersion: v1 kind: Service metadata: name: nginx annotations: kubernetes.io/elb.id: # ELB ID，替换为实际值 kubernetes.io/elb.class: performance # 负载均衡器类型 kubernetes.io/elb.adaptive-weight: 'true' # 开启动态调整后端云服务器权重功能 spec: selector: app: nginx ports: - name: service0 port: 80 protocol: TCP targetPort: 80 type: LoadBalancer ``` #### 跨集群访问 表15跨集群访问注解 | 参数 | 类型 | 描述 | 支持的集群版本 | |:---|:---|:---|:---| | kubernetes.io/elb.multicluster | String | 取值为true，表示开启Service跨集群访问。 | v1.19.16-r0、v1.21.4-r0、v1.23.1-r0及以上 | | kubernetes.io/elb.multivpc | String | 取值为true，表示开启不同VPC间跨集群访问，需要在kubernetes.io/elb.multicluster开关为true的情况下启用。**该参数在创建完成后不可修改**。 仅支持独享型ELB。 | v1.19.16-r4、v1.21.7-r0、v1.23.5-r0及以上 | | kubernetes.io/elb.multicluster-loadbalancer-weight | String | 集群Service接收流量的权重，权重可填0-100，数值越大被分发的流量越多。 | v1.19.16-r0、v1.21.4-r0、v1.23.1-r0及以上 | | kubernetes.io/elb.multicluster-resource-recycle-policy | String | ELB资源的删除策略，默认为member-only。 - member-only：只清理ELB的后端云服务器 - cascade：强制回收ELB下所有资源 | v1.19.16-r0、v1.21.4-r0、v1.23.1-r0及以上 | 具体使用场景和说明请参见[为负载均衡类型的Service配置跨集群的后端](https://support.huaweicloud.com/usermanual-cce/cce_10_0682.html)。 #### 黑名单/白名单设置 表16ELB访问控制注解 | 参数 | 类型 | 描述 | 支持的集群版本 | |:---|:---|:---|:---| | kubernetes.io/elb.acl-id | String | - 不填写该参数时：表示CCE不对ELB侧访问控制进行修改。 - 参数值填写为空值时：表示允许所有IP访问。 - 参数值填写为ELB的IP地址组ID时：表示开启访问控制，为ELB设置IP地址黑名单或白名单。此时需同时填写kubernetes.io/elb.acl-status和kubernetes.io/elb.acl-type参数。 说明： v1.25.16-r10、v1.27.16-r10、v1.28.15-r0、v1.29.10-r0、v1.30.6-r0、v1.31.1-r0及以上版本的集群中，使用独享型ELB时可同时填写多个IP地址组，最多同时填写5个，用英文逗号分隔。 **获取方法：** 登录[ELB控制台](https://console.huaweicloud.com/vpc/#/elb/list/grid)，单击"弹性负载均衡 \> IP地址组"，复制目标IP地址组的"ID"即可。详情请参见[IP地址组](https://support.huaweicloud.com/usermanual-elb/elb_ug_ip_0000.html)。 | v1.23.12-r0、v1.25.7-r0、v1.27.4-r0、v1.28.2-r0及以上 | | kubernetes.io/elb.acl-status | String | 为ELB设置IP地址黑名单或白名单时需填写，取值如下： - on或true：表示开启访问控制。 - off或false：表示不开启访问控制。 | v1.23.12-r0、v1.25.7-r0、v1.27.4-r0、v1.28.2-r0及以上 | | kubernetes.io/elb.acl-type | String | 为ELB设置IP地址黑名单或白名单时需填写，取值如下： - black：表示黑名单，所选IP地址组无法访问ELB地址。 - white：表示白名单，仅所选IP地址组可以访问ELB地址。 | v1.23.12-r0、v1.25.7-r0、v1.27.4-r0、v1.28.2-r0及以上 | 上述注解的使用方法如下： ``` apiVersion: v1 kind: Service metadata: name: nginx annotations: kubernetes.io/elb.id: # ELB ID，替换为实际值 kubernetes.io/elb.class: performance # 负载均衡器类型 kubernetes.io/elb.acl-id: # ELB的IP地址组ID kubernetes.io/elb.acl-status: 'on' # 开启访问控制 kubernetes.io/elb.acl-type: 'white' # 白名单控制 spec: selector: app: nginx ports: - name: service0 port: 80 protocol: TCP targetPort: 80 type: LoadBalancer ``` 具体使用场景和说明请参见[为负载均衡类型的Service配置黑名单/白名单访问策略](https://support.huaweicloud.com/usermanual-cce/cce_10_0831.html)。 #### 主机网络 表17主机网络注解 | 参数 | 类型 | 描述 | 支持的集群版本 | |:---|:---|:---|:---| | kubernetes.io/hws-hostNetwork | String | 当且仅当Pod使用hostNetwork主机网络，Service才能使用该注解。使用该注解后ELB会将请求转发至主机网络。 取值范围： - 开启：true - 关闭：false，默认为false | v1.9及以上 | 上述注解的使用方法如下： ``` apiVersion: v1 kind: Service metadata: name: nginx annotations: kubernetes.io/elb.id: # ELB ID，替换为实际值 kubernetes.io/elb.class: performance # 负载均衡器类型 kubernetes.io/hws-hostNetwork: 'true' # ELB会将请求转发至主机网络 spec: selector: app: nginx ports: - name: service0 port: 80 protocol: TCP targetPort: 80 type: LoadBalancer ``` #### 设置超时时间 表18设置超时时间注解 | 参数 | 类型 | 描述 | 支持的集群版本 | |:---|:---|:---|:---| | kubernetes.io/elb.keepalive_timeout | String | 客户端连接空闲超时时间，在超过keepalive_timeout时长一直没有请求， 负载均衡会暂时中断当前连接，直到下一次请求时重新建立新的连接。 取值： - 若为TCP协议，取值范围为10-4000s，默认值为300s。 - 若为HTTP/HTTPS/TERMINATED_HTTPS监听器，取值范围为0-4000s，默认值为60s。 - 若为UDP协议（仅独享型ELB支持），取值范围为10-4000s，默认值为300s。 | 独享型ELB：v1.19.16-r30、v1.21.10-r10、v1.23.8-r10、v1.25.3-r10及以上 共享型ELB：v1.23.13-r0、v1.25.8-r0、v1.27.5-r0、v1.28.3-r0及以上版本 | | kubernetes.io/elb.client_timeout | String | 等待客户端请求超时时间，包括两种情况： - 读取整个客户端请求头的超时时长：如果客户端未在超时时长内发送完整个请求头，则请求将被中断。 - 两个连续body体的数据包到达LB的时间间隔，超出client_timeout将会断开连接。 取值范围为1-300s，默认值为60s。 | v1.23.13-r0、v1.25.8-r0、v1.27.5-r0、v1.28.3-r0及以上版本 | | kubernetes.io/elb.member_timeout | String | 等待后端服务器响应超时时间。请求转发后端服务器后，等待超过member_timeout时长没有响应，负载均衡将终止等待，并返回 HTTP504错误码。 取值范围为1-300s，默认值为60s。 | v1.23.13-r0、v1.25.8-r0、v1.27.5-r0、v1.28.3-r0及以上版本 | 具体使用场景和说明请参见[为负载均衡类型的Service配置超时时间](https://support.huaweicloud.com/usermanual-cce/cce_10_0729.html)。 #### 配置HTTP/HTTPS头字段 表19配置HTTP/HTTPS头字段注解 | 参数 | 类型 | 描述 | 支持的集群版本 | |:---|:---|:---|:---| | kubernetes.io/elb.x-forwarded-port | String | ELB可通过X-Forwarded-Port头字段获取监听器的端口号，传输到后端服务器的报文中。 - true：开启获取监听器端口号开关。 - false：关闭获取监听器端口号开关。 | v1.23.13-r0、v1.25.8-r0、v1.27.5-r0、v1.28.3-r0及以上版本 | | kubernetes.io/elb.x-forwarded-for-port | String | ELB可通过X-Forwarded-For-Port头字段获取客户端请求的端口号，传输到后端服务器的报文中。 - true：开启获取客户端请求端口号开关。 - false：关闭获取客户端请求端口号开关。 | v1.23.13-r0、v1.25.8-r0、v1.27.5-r0、v1.28.3-r0及以上版本 | | kubernetes.io/elb.x-forwarded-host | String | - true：开启重写X-Forwarded-Host开关，ELB以客户端请求头的Host重写X-Forwarded-Host传递到后端服务器。 - false：关闭重写X-Forwarded-Host开关，ELB透传客户端的X-Forwarded-Host到后端服务器。 | v1.23.13-r0、v1.25.8-r0、v1.27.5-r0、v1.28.3-r0及以上版本 | | kubernetes.io/elb.x-real-ip | String | - true：开启重写X-Real-IP开关，ELB以客户端的源IP地址重写X-Real-IP传递到后端服务器 - false：关闭重写X-Real-IP开关，ELB透传客户端的X-Real-IP到后端服务器。 | v1.25.16-r30、v1.27.16-r30、v1.28.15-r20、v1.29.13-r0、v1.30.10-r0、v1.31.6-r0、v1.32.1-r0及以上版本 | 具体使用场景和示例请参见[为负载均衡类型的Service配置HTTP/HTTPS头字段](https://support.huaweicloud.com/usermanual-cce/cce_10_0865.html)。 #### 开启gzip压缩 表20开启gzip压缩注解 | 参数 | 类型 | 描述 | 支持的集群版本 | |:---|:---|:---|:---| | kubernetes.io/elb.gzip-enabled | String | ELB支持开启数据压缩，通过数据压缩可缩小传输文件大小，提升文件传输效率减少带宽消耗。 开启将对特定文件类型进行压缩，关闭则不会对任何文件类型进行压缩。在默认情况下数据压缩为关闭。 支持的压缩类型如下： - Brotli支持压缩所有类型。 - Gzip支持压缩的类型包括：text/xml text/plain text/css application/javascript application/x-javascript application/rss+xml application/atom+xml application/xml application/json。 仅独享型ELB的HTTP/HTTPS类型监听器支持配置。删除开启数据压缩高级配置或对应的annotations，将不会对ELB侧配置进行修改。 | v1.23.14-r0、v1.25.9-r0、v1.27.6-r0、v1.28.4-r0及以上版本 | 具体使用场景和说明请参见[为负载均衡类型的Service配置gzip数据压缩](https://support.huaweicloud.com/usermanual-cce/cce_10_0866.html)。 #### 配置ELB后端优雅退出 当前支持Service使用TCP、UDP协议时配置ELB后端优雅退出时间，优雅退出时间默认为300秒。 ![](https://support.huaweicloud.com/usermanual-cce/public_sys-resources/note_3.0-zh-cn.png) 该特性由ELB受限开放，仅独享型ELB支持，使用前请提交工单给ELB服务进行申请。 表21配置ELB后端优雅退出注解 | 参数 | 类型 | 描述 | 支持的集群版本 | |:---|:---|:---|:---| | kubernetes.io/elb.connection-drain-enable | String | 是否开启ELB后端优雅退出。 - true：开启ELB后端优雅退出。 - false：关闭ELB后端优雅退出。 | v1.23.13-r0、v1.25.8-r0、v1.27.5-r0、v1.28.3-r0及以上版本 | | kubernetes.io/elb.connection-drain-timeout | String | ELB后端优雅退出时间，取值范围为10-4000秒，默认为300秒。 | v1.23.13-r0、v1.25.8-r0、v1.27.5-r0、v1.28.3-r0及以上版本 | #### 配置获取客户端IP 表22配置获取客户端IP注解 | 参数 | 参数类型 | 描述 | 支持的集群版本 | |:---|:---|:---|:---| | kubernetes.io/elb.transparent-client-ip | String | 仅使用共享型ELB创建LoadBalancer类型的服务，且使用TCP/UDP协议时支持配置。 - true：表示开启客户端源IP能力。 - false：表示关闭客户端源IP能力。 | v1.23.17-r0、v1.25.12-r0、v1.27.9-r0、v1.28.7-r0、v1.29.3-r0及以上版本 | 具体使用场景和说明请参见[为负载均衡类型的Service配置获取客户端IP](https://support.huaweicloud.com/usermanual-cce/cce_10_0916.html)。 #### 配置区间端口监听 表23配置区间端口监听注解 | 参数 | 参数类型 | 描述 | 支持的集群版本 | |:---|:---|:---|:---| | kubernetes.io/elb.port-ranges | String | 使用独享型ELB且选择TCP/UDP/TLS协议时，支持创建某个端口范围的监听器，端口范围1\~65535，您最多可为每个监听器添加10个互不重叠的监听端口段。 参数值格式如下，ports_name和port均不允许重复： ``` '{"":[",",","], "":[",",","]}' ``` 例如以下示例表示，端口配置名称为cce-service-0，其监听端口范围为100\~200和300\~400；端口配置名称为cce-service-1，其监听端口范围为500\~600和700\~800。 ``` '{"cce-service-0":["100,200", "300,400"], "cce-service-1":["500,600", "700,800"]}' ``` 说明： 该功能依赖ELB能力，使用该功能前请确认ELB在当前区域是否支持四层协议全端口监听和转发。 | v1.23.18-r0、v1.25.13-r0、v1.27.10-r0、v1.28.8-r0、v1.29.4-r0、v1.30.1-r0及以上版本 | 具体使用场景和说明请参见[为负载均衡类型的Service配置区间端口监听](https://support.huaweicloud.com/usermanual-cce/cce_10_0929.html)。 #### 配置IP类型的后端 表24配置IP类型的后端注解 | 参数 | 参数类型 | 描述 | 支持的集群版本 | |:---|:---|:---|:---| | kubernetes.io/elb.ip-target-enabled | String | 表示为ELB配置IP类型的后端，启用后该Service/Ingress添加的后端地址均为VPC子网内的IP。其中CCE Turbo集群的后端为\:\，CCE Standard集群的后端为\<节点IP\>:\。 - true：表示配置IP类型的后端。 - 不支持其他取值 注意： - 仅独享型ELB支持该特性。 - 该特性仅在创建Service/Ingress时支持开启，已经存在的Service/Ingress无法添加和删除该annotations，如需使用特性，请新建Service/Ingress。 - 如果Service/Ingress所使用的负载均衡器未开启IP类型后端功能，添加annotations后CCE会自动开启开关，且开启后无法关闭。 - 请确保Service/Ingress所使用的负载均衡器后端子网有足够的IP地址，否则该功能无法正常使用。您可以通过负载均衡器的"基本信息 \> 后端子网"添加多个后端子网来增加后端子网的IP地址。 - 其他注意事项请参考[通过IP类型后端功能添加服务器至ELB](https://support.huaweicloud.com/bestpractice-elb/elb_bp_0301.html)。 | v1.25.16-r30、v1.27.16-r30、v1.28.15-r20、v1.29.13-r0、v1.30.10-r0、v1.31.6-r0、v1.32.1-r0及以上版本 | 具体使用场景和说明请参见[为负载均衡类型的Service配置IP类型的后端](https://support.huaweicloud.com/usermanual-cce/cce_10_1021.html)。 #### 配置StatefulSet后端Pod的权重 表25配置StatefulSet后端Pod的权重注解 | 参数 | 参数类型 | 描述 | 支持的集群版本 | |:---|:---|:---|:---| | kubernetes.io/elb.custom-backend-weights | String | 为StatefulSet类型的工作负载配置后端Pod的权重，仅CCE Turbo集群和独享型ELB支持该功能。 | v1.29.15-r60、v1.30.14-r60、v1.31.14-r20、v1.32.9-r20、v1.33.7-r20、v1.34.3-r10、v1.35.1-r0及以上版本 | 具体使用场景和说明请参见[为负载均衡类型的Service配置StatefulSet后端Pod的权重](https://support.huaweicloud.com/usermanual-cce/cce_10_1026.html)。 #### 取消关联ELB的监听器托管 表26取消关联ELB的监听器托管注解 | 参数 | 参数类型 | 描述 | 支持的集群版本 | |:---|:---|:---|:---| | kubernetes.io/elb.skip-managed-listener | String | 取消监听器托管。取消后CCE不再管理该Service关联的监听器。 - true：取消监听器托管，CCE仅创建后端云服务器组、健康检查和后端服务器成员，不创建和管理监听器。 - 不设置或设为其他值：保持默认行为，CCE完全托管监听器。 | v1.29.15-r90、v1.30.14-r90、v1.31.14-r50、v1.32.13-r20、v1.33.12-r0、v1.34.8-r0、v1.35.5-r0、v1.36.1-r10及以上 | 具体使用场景和说明请参见[取消负载均衡类型的Service关联ELB的监听器托管](https://support.huaweicloud.com/usermanual-cce/cce_10_1167.html)。 #### 配置新建与并发限速 表27配置新建与并发限速注解 | 参数 | 参数类型 | 描述 | 支持的集群版本 | |:---|:---|:---|:---| | kubernetes.io/elb.cps | Integer | **参数解释**：监听器新建限速。 **约束限制**：当该限速值大于LB的限速值时，以LB的限速值生效。 **取值范围**：0-1000000 **默认取值**：0，表示不限速。 | v1.30.14-r100、v1.31.14-r60、v1.32.13-r30、v1.33.12-r10、v1.34.8-r10、v1.35.5-r10、v1.36.2-r0及以上 | | kubernetes.io/elb.connection | Integer | **参数解释**：监听器并发限速 **约束限制**：当该限速值大于LB的限速值时，以LB的限速值生效。 **取值范围**：0-1000000 **默认取值**：0，表示不限速。 | v1.30.14-r100、v1.31.14-r60、v1.32.13-r30、v1.33.12-r10、v1.34.8-r10、v1.35.5-r10、v1.36.2-r0及以上 | 具体使用场景和示例请参见[为负载均衡类型的Service配置新建与并发连接限速](https://support.huaweicloud.com/usermanual-cce/cce_10_11011.html)。 #### 自动创建ELB的参数说明 表28elb.autocreate字段数据结构说明 | 参数 | 是否必填 | 参数类型 | 描述 | |:---|:---|:---|:---| | name | 否 | String | 自动创建的负载均衡的名称。 取值范围：只能由中文、英文字母、数字、下划线、中划线、点组成，且长度范围为1-64个字符。 默认名称：cce-lb+service.UID | | type | 否 | String | 负载均衡实例网络类型，公网或者私网。 - public：公网型负载均衡 - inner：私网型负载均衡 默认类型：inner | | bandwidth_id | 否 | String | 共享带宽ID。使用已存在的共享带宽时填写。集群版本需满足v1.30.14-r100、v1.31.14-r60、v1.32.13-r30、v1.33.12-r10、v1.34.8-r10、v1.35.5-r10、v1.36.2-r0及以上。 | | bandwidth_name | 公网型负载均衡且共享带宽ID为空时必填。 | String | 带宽的名称，默认值为：cce-bandwidth-\*\*\*\*\*\*。 取值范围：只能由中文、英文字母、数字、下划线、中划线、点组成，且长度范围为1-64个字符。 | | bandwidth_chargemode | 公网型负载均衡且共享带宽ID为空时必填。 | String | 带宽付费模式。 - bandwidth：按带宽 - traffic：按流量 | | bandwidth_size | 公网型负载均衡且共享带宽ID为空时必填。 | Integer | 带宽大小，默认1Mbit/s\~2000Mbit/s，请根据Region带宽支持范围设置。 调整带宽时的最小单位会根据带宽范围不同存在差异。 - 小于等于300Mbit/s：默认最小单位为1Mbit/s。 - 300Mbit/s\~1000Mbit/s：默认最小单位为50Mbit/s。 - 大于1000Mbit/s：默认最小单位为500Mbit/s。 | | bandwidth_sharetype | 公网型负载均衡且共享带宽ID为空时必填。 | String | 带宽共享方式。 - PER：独享带宽 - WHOLE：共享带宽。仅v1.30.14-r100、v1.31.14-r60、v1.32.13-r30、v1.33.12-r10、v1.34.8-r10、v1.35.5-r10、v1.36.2-r0及以上版本支持。 说明： 该字段为WHOLE时，必须指定共享带宽ID。 | | eip_type | 公网型负载均衡必填 | String | 弹性公网IP类型。 - 5_telcom：电信 - 5_union：联通 - 5_bgp：全动态BGP - 5_sbgp：静态BGP 具体类型以各区域配置为准，详情请参见弹性公网IP控制台。 | | vip_subnet_cidr_id | 否 | String | 填写子网的IPv4子网ID，指定ELB所在的子网，用于分配ELB实例对外服务的IP地址，该子网必须属于集群所在的VPC。 如不指定，则默认与集群在同一个子网。 仅v1.21及以上版本的集群支持指定该字段。 **获取方式：** 登录[VPC控制台](https://console.huaweicloud.com/vpc/#/vpc/vpcs/list)，在左侧导航栏选择"子网"，根据集群所在的VPC名称筛选子网，单击子网名称，在"基本信息"页签下找到"IPv4子网ID"字段复制即可。 | | ipv6_vip_virsubnet_id | 否 | String | 双栈类型负载均衡器所在IPv6子网的网络ID，需要对应的子网开启IPv6。 独享型负载均衡器独有字段。 **获取方式：** 登录[VPC控制台](https://console.huaweicloud.com/vpc/#/vpc/vpcs/list)，在左侧导航栏选择"子网"，根据集群所在的VPC名称筛选子网，单击子网名称，在"基本信息"页签下找到"网络ID"字段复制即可。 | | elb_virsubnet_ids | 否 | Array of strings | 填写子网的网络ID，指定负载均衡后端所在子网，用于分配与后端服务建立连接的IP地址，不填默认为vip_subnet_cidr_id参数所选的子网。不同实例规格将占用不同数量子网IP，不建议使用其他资源（如集群，节点等）的子网网段。 独享型负载均衡器独有字段。 示例： ``` "elb_virsubnet_ids": [ "14567f27-8ae4-42b8-ae47-9f847a4690dd" ] ``` **获取方式：** 登录[VPC控制台](https://console.huaweicloud.com/vpc/#/vpc/vpcs/list)，在左侧导航栏选择"子网"，根据集群所在的VPC名称筛选子网，单击子网名称，在"基本信息"页签下找到"网络ID"字段复制即可。 | | vip_address | 否 | String | 负载均衡器的内网IP。仅支持指定IPv4地址，不支持指定IPv6地址。 该IP必须为ELB所在子网网段中的IP。若不指定，自动从ELB所在子网网段中生成一个IP地址。 仅v1.23.11-r0、v1.25.6-r0、v1.27.3-r0及以上版本集群支持指定该字段。 | | available_zone | 是 | Array of strings | 负载均衡所在可用区。 可以通过[查询可用区列表](https://support.huaweicloud.com/api-elb/ListAvailabilityZones.html)获取所有支持的可用区。 独享型负载均衡器独有字段。 | | l4_flavor_name | 否 | String | 四层负载均衡实例规格名称。需要使用TCP、UDP、TLS协议时必填。 可以通过[查询规格列表](https://support.huaweicloud.com/api-elb/ListFlavors.html)获取所有支持的类型。 - 弹性规格：适用于业务用量波动较大的场景，按实际使用量收取每小时使用的容量费用。v1.21.10-r10、v1.23.8-r10、v1.25.3-r10及以上版本集群支持使用弹性规格。 - 固定规格：适用于业务用量较为稳定的场景，按固定规格折算收取每小时使用的容量费用。 独享型负载均衡器独有字段。 | | l7_flavor_name | 否 | String | 七层负载均衡实例规格名称。使用HTTP/HTTPS协议时必填。 可以通过[查询规格列表](https://support.huaweicloud.com/api-elb/ListFlavors.html)获取所有支持的类型。 - 弹性规格：适用于业务用量波动较大的场景，按实际使用量收取每小时使用的容量费用。v1.21.10-r10、v1.23.8-r10、v1.25.3-r10及以上版本集群支持使用弹性规格。 - 固定规格：适用于业务用量较为稳定的场景，按固定规格折算收取每小时使用的容量费用。 独享型负载均衡器独有字段，必须与l4_flavor_name对应规格的类型一致，即都为弹性规格或都为固定规格。 | 表29elb.health-check-option字段数据结构说明 | 参数 | 是否必填 | 参数类型 | 描述 | |:---|:---|:---|:---| | delay | 否 | String | 健康检查间隔（秒）。 默认值：5，取值范围：1-50 | | timeout | 否 | String | 健康检查的超时时间（秒）。 默认值：10，取值范围1-50 | | max_retries | 否 | String | 健康检查的最大重试次数。 默认值：3，取值范围1-10 | | protocol | 否 | String | 健康检查的协议。 取值范围："TCP"、"UDP"、"HTTP"、"HTTPS"、"TLS"、"GRPC" 选择"HTTPS"、"TLS"或者 "GRPC"协议需要使用独享型ELB且集群版本为v1.28.15-r90、v1.29.15-r50、v1.30.14-r50、v1.31.14-r10、v1.32.9-r10、v1.33.7-r10、v1.34.3-r0及以上。GRPC和TLS依赖ELB能力，使用该功能前请提交工单申请开通ELB相关能力。 - 若pool的protocol为UDP/QUIC，则健康检查协议只能是UDP。 - 若pool的protocol为TCP，则健康检查协议可以是TCP、HTTP、HTTPS。 - 若pool的protocol为TLS/HTTP/HTTPS/GRPC，则健康检查协议可以是TCP、HTTP、HTTPS、TLS、GRPC。 注意： 当需要切换健康检查的协议时（包括全局检查和自定义检查互相切换的场景），需要先关闭健康检查，然后重新开启并切换其他协议。 | | path | 否 | String | 健康检查的URL，协议是"HTTP"、"HTTPS"、"GRPC"时配置。 默认值："/" 取值范围：1-80字符 | 表30elb.health-check-options字段数据结构说明 | 参数 | 是否必填 | 参数类型 | 描述 | |:---|:---|:---|:---| | target_service_port | 是 | String | spec.ports添加健康检查的目标端口，由协议、端口号组成，如：TCP:80 | | monitor_port | 否 | String | 重新指定的健康检查端口，不指定时默认使用业务端口。 说明： 请确保该端口在Pod所在节点已被监听，否则会影响健康检查结果。 | | delay | 否 | String | 健康检查间隔（秒） 默认值：5，取值范围：1-50 | | timeout | 否 | String | 健康检查的超时时间（秒） 默认值：10，取值范围1-50 | | max_retries | 否 | String | 健康检查的最大重试次数 默认值：3，取值范围1-10 | | protocol | 否 | String | 健康检查的协议 默认值：取关联服务的协议 取值范围："TCP"、"UDP"、"HTTP"、"HTTPS"、"TLS"、"GRPC" 选择"HTTPS"、"TLS"或者 "GRPC"协议需要使用独享型ELB且集群版本为v1.28.15-r90、v1.29.15-r50、v1.30.14-r50、v1.31.14-r10、v1.32.9-r10、v1.33.7-r10、v1.34.3-r0及以上。GRPC和TLS依赖ELB能力，使用该功能前请提交工单申请开通ELB相关能力。 - 若监听器后端协议为UDP/QUIC，则健康检查协议只能是UDP。 - 若监听器后端协议为TCP，则健康检查协议可以是TCP、HTTP、HTTPS。 - 若监听器后端协议为TLS/HTTP/HTTPS/GRPC，则健康检查协议可以是TCP、HTTP、HTTPS、TLS、GRPC。 注意： 当需要切换健康检查的协议时（包括全局检查和自定义检查互相切换的场景），需要先关闭健康检查，然后重新开启并切换其他协议。 | | path | 否 | String | 健康检查的URL，协议是"HTTP"、"HTTPS"、"GRPC"时需要配置 默认值："/" 取值范围：1-80字符 | | expected_codes | 否 | String | 期望响应状态码，仅v1.19.16-r50、v1.21.11-r10、v1.23.9-r10、v1.25.4-r10、v1.27.1-r10及以上版本的集群支持。 取值： - 单值：单个返回码，例如"200"。 - 列表：多个特定返回码，例如"200,202"。 - 区间：一个返回码区间，例如"200-204"。 默认值：200，状态码范围为200-599。若健康检查type为GRPC，则默认值为0，状态码范围为0-99。 仅支持HTTP/HTTPS/GRPC设置该字段，其他协议设置不会生效。 | 表31elb.session-affinity-option字段数据结构说明 | 参数 | 是否必填 | 参数类型 | 描述 | |:---|:---|:---|:---| | persistence_timeout | 是 | String | 当elb.session-affinity-mode是"SOURCE_IP"时生效，设置会话保持的超时时间（分钟）。 默认值为："60"，取值范围：1-60。 |