更新时间:2026-11-10 GMT+08:00
分享

通过EndpointSlice自定义ELB后端

创建负载均衡类型的服务时,CCE会根据Service中配置的标签选择器自动关联集群内的Pod,并将其注册为ELB的后端服务器,无需您手动维护后端地址。但在部分场景中,后端地址并不在集群的Pod网络中。例如业务节点通过扩展网卡承载流量、后端服务运行在集群外部时,CCE无法自动发现这些地址,ELB也就无法将其纳入负载均衡。

此时,您可以通过自定义EndpointSlice的方式,将集群内外的任意IP地址注册为ELB的后端,实现地址的声明式管理:

  1. 创建不设置标签选择器的Service,并添加注解,声明后端由您自行管理。
  2. 手动创建EndpointSlice对象,声明后端IP地址和端口。
  3. CCE自动读取EndpointSlice中的地址并同步到ELB后端。

此后,地址列表发生变化(新增、删除、标记不健康)时,ELB后端自动同步更新,无需手动维护。

工作原理

  1. Service通过cce.io/elb.endpointslice-user-managed注解声明:后端地址不再由CCE通过标签选择器自动关联Pod,而是由EndpointSlice提供。
  2. 您手动创建EndpointSlice对象,声明后端IP地址和端口,并通过标签kubernetes.io/service-name关联到目标Service。
  3. CCE持续监听该Service对应的EndpointSlice,将其中声明的地址和端口同步注册为ELB的后端服务器。
  4. 当EndpointSlice中的地址发生变化(新增、删除、修改就绪状态)时,CCE将变更同步到ELB后端,实现地址的自动增删。

前提条件

集群版本满足以下要求:
  • v1.31集群:v1.31.14-r80及以上版本
  • v1.32集群:v1.32.13-r50及以上版本
  • v1.33集群:v1.33.13-r0及以上版本
  • v1.34集群:v1.34.10-r0及以上版本
  • v1.35集群:v1.35.7-r0及以上版本
  • v1.36集群:v1.36.3-r0及以上版本
  • 其他更高版本的集群

约束与限制

  • 仅独享型负载均衡实例支持此功能。
  • 请勿为同一Service同时创建Endpoints(旧版端点对象),避免与EndpointSlice产生地址和端口冲突。
  • 停止使用本功能时,需移除注解并恢复Service的标签选择器。若保持空选择器,已注册的后端需手动清理。
  • 业务端口需真实监听,ELB健康检查和流量转发依赖后端实际监听对应端口。
  • 请确保后端所在安全组放通ELB到后端地址的健康检查和业务流量。
  • 不支持依赖后端Pod/Node关联定义相关功能,例如:动态调整后端云服务器权重、配置StatefulSet后端Pod的权重、通过ELB健康检查设置Pod就绪状态。

使用前需要了解的概念

两个独立配置:地址来源与注册方式

使用本功能前,需要理解两个相互独立的配置项:

配置项

注解

作用

后端地址来源

cce.io/elb.endpointslice-user-managed

声明后端地址由EndpointSlice提供(而不是自动关联Pod)

后端注册方式

kubernetes.io/elb.ip-target-enabled

声明后端按IP方式注册(IP类型后端)

两者可独立组合,按后端地址的位置选择:

组合方式

适用场景

行为

仅配置地址来源

后端地址在集群VPC子网内

CCE自动识别后端所属子网并完成注册

同时配置两个

后端地址在集群VPC之外,或需要统一按 IP 方式注册

不依赖子网信息,直接按 IP 地址注册

kubernetes.io/elb.ip-target-enabled不是必选项。只有后端地址在集群VPC之外时才需要配置;地址在VPC子网内时无需配置。

客户端IP的获取限制

配置IP类型后端(ip-target-enabled)后,ELB转发流量到后端时使用后端子网的IP作为源地址,后端无法直接获取客户端真实IP:

监听器类型

客户端IP获取情况

四层(TCP/UDP)

无法直接获取,收到报文的源IP为ELB后端子网IP。

七层(HTTP/HTTPS)

可通过X-Forwarded-For等头字段获取,请参考独享型ELB获取客户端真实IP。

如果业务依赖客户端真实IP(如访问控制、风控、日志分析),请评估启用IP类型后端的影响。

端口对应关系

Service和EndpointSlice各有独立的端口定义,需要理解两者的对应关系:

  • ELB监听器端口(前端端口):Service的spec.ports[].port
  • ELB后端端口(转发端口):EndpointSlice的ports[].port

需要保证一致的内容

说明

端口名称

EndpointSlice的ports[].name必须与Service的spec.ports[].name一致

协议

EndpointSlice的ports[].protocol必须与Service的spec.ports[].protocol一致

端口号

不要求一致。监听端口(Service)与后端实际端口(EndpointSlice)可以不同

本功能后端端口直接取EndpointSlice中声明的端口,Service的targetPort字段不参与后端端口解析(仅因兼容Service定义而保留)。

健康检查机制

后端注册与转发由两层机制控制:

层级

控制方

作用

第一层:EndpointSlice就绪状态

您

控制后端是否注册:conditions.ready为true(或未设置)时注册,为false时不注册

第二层:ELB健康检查

ELB

控制后端实际转发:不健康的后端自动摘除流量

conditions.ready未设置时视为健康。请勿显式设置ready: false,否则后端不会注册。

操作步骤

步骤一:准备ELB

在ELB控制台或通过接口创建独享型负载均衡实例,并创建好对应的监听器。

步骤二:创建Service

创建类型为负载均衡(LoadBalancer)的Service,声明后端由您自行管理,并关联已有的ELB实例。

  • 不设置标签选择器(selector: {}),表示该Service不自动关联集群内Pod。
  • 添加注解,声明后端由您自行管理,并关联已有的ELB实例。
apiVersion: v1
kind: Service
metadata:
  name: custom-backend-service
  annotations:
    kubernetes.io/elb.class: performance             # 仅独享型负载均衡实例支持此功能
    kubernetes.io/elb.id: "<ELB实例ID>"              # 关联已有的 ELB 实例
    cce.io/elb.endpointslice-user-managed: "true"    # 声明后端由 EndpointSlice 管理
spec:
  type: LoadBalancer
  selector: {}                                        # 空选择器,不关联 Pod
  ports:
  - name: service-port
    protocol: UDP
    port: <监听器端口>                                 # ELB 监听器端口
    targetPort: <后端端口>                             # 保留兼容,本功能下不参与后端端口解析
  • 如果后端地址在集群VPC之外,需要在上述注解中追加kubernetes.io/elb.ip-target-enabled: "true";如果后端地址在集群VPC子网内,无需配置该注解。配置后请注意客户端IP获取限制。
  • 如声明后端自行管理时同时错误设置了非空的标签选择器,则标签选择器将被静默忽略,后端仍完全由关联的EndpointSlices决定。

步骤三:创建EndpointSlice

创建EndpointSlice对象,声明后端地址和端口,并通过标签关联到步骤二中创建的Service。

apiVersion: discovery.k8s.io/v1
kind: EndpointSlice
metadata:
  name: custom-backend-service-xxx
  labels:
    kubernetes.io/service-name: custom-backend-service        # 关联 Service(必填)
    endpointslice.kubernetes.io/managed-by: my-controller      # 标识管理方(自定义),避免与K8S社区原生控制器名称冲突
addressType: IPv4                                              # 地址类型:IPv4 或 IPv6
ports:
- name: service-port                                           # 端口名称,需与 Service 端口名称一致
  protocol: UDP
  port: <后端端口>                                             # 后端实际监听端口
endpoints:
- addresses: ["<后端IP-1>"]                                    # 后端 IP 地址
  conditions:
    ready: true
- addresses: ["<后端IP-2>"]
  conditions:
    ready: true

步骤四:验证

确认后端地址已成功注册到ELB,且健康检查状态正常。

  1. 在ELB控制台查看该监听器对应的后端服务器组。
  2. 确认EndpointSlice中声明的后端地址已出现在后端服务器组中。
  3. 确认后端地址的健康检查状态为正常。若地址未注册或状态异常,请检查:
    • EndpointSlice中conditions.ready是否为true(或未设置)。
    • 后端所在安全组是否放通了ELB到后端地址的健康检查和业务流量。
    • 后端业务是否真实监听EndpointSlice中声明的端口。

配置示例

示例1:后端地址在集群VPC内

适用于后端地址为集群VPC内弹性网卡、辅助网卡等地址的场景。仅配置地址来源注解,不配置IP类型后端注解:

# Service
apiVersion: v1
kind: Service
metadata:
  name: custom-backend-service
  annotations:
    kubernetes.io/elb.class: performance
    kubernetes.io/elb.id: "<ELB实例ID>"
    cce.io/elb.endpointslice-user-managed: "true"
spec:
  type: LoadBalancer
  selector: {}
  ports:
  - name: service-port
    protocol: TCP
    port: 9095            # ELB监听器端口(前端端口)
    targetPort: 9090
---
# EndpointSlice
apiVersion: discovery.k8s.io/v1
kind: EndpointSlice
metadata:
  name: custom-backend-service-a
  labels:
    kubernetes.io/service-name: custom-backend-service
    endpointslice.kubernetes.io/managed-by: my-controller
addressType: IPv4
ports:
- name: service-port
  protocol: TCP
  port: 9090                 # ELB后端端口(转发端口),即后端实际监听端口
endpoints:
- addresses: ["192.168.1.10"]
  conditions:
    ready: true
- addresses: ["192.168.1.11"]
  conditions:
    ready: true

示例2:后端地址在集群VPC之外

适用于后端地址为集群外、扩展网卡等VPC外地址的场景。必须配置IP类型后端注解,注意客户端IP获取限制:

# Service
apiVersion: v1
kind: Service
metadata:
  name: custom-backend-service
  annotations:
    kubernetes.io/elb.class: performance
    kubernetes.io/elb.id: "<ELB实例ID>"
    kubernetes.io/elb.ip-target-enabled: "true"       # VPC 外地址必须配置
    cce.io/elb.endpointslice-user-managed: "true"
spec:
  type: LoadBalancer
  selector: {}
  ports:
  - name: service-port
    protocol: UDP
    port: 9096                                      # ELB监听器端口(前端端口)
    targetPort: 9091
---
# EndpointSlice
apiVersion: discovery.k8s.io/v1
kind: EndpointSlice
metadata:
  name: custom-backend-service-b
  labels:
    kubernetes.io/service-name: custom-backend-service
    endpointslice.kubernetes.io/managed-by: my-controller
addressType: IPv4
ports:
- name: service-port
  protocol: UDP
  port: 9091                                # ELB后端端口(转发端口),即后端实际监听端口
endpoints:
- addresses: ["192.168.1.10"]
  conditions:
    ready: true
- addresses: ["192.168.1.11"]
  conditions:
    ready: true

示例3:多集群共享ELB后端

适用于多个集群的地址注册到同一个后端服务器组,实现跨集群负载分担与容灾。每个集群创建指向同一ELB的Service,配置多集群注解,各集群独立维护自己的EndpointSlice。

# 集群 A 的 Service(集群 B 配置相同,权重按需调整)
apiVersion: v1
kind: Service
metadata:
  name: custom-backend-service
  annotations:
    kubernetes.io/elb.class: performance
    kubernetes.io/elb.id: "<同一ELB实例ID>"
    kubernetes.io/elb.ip-target-enabled: "true"
    cce.io/elb.endpointslice-user-managed: "true"
    kubernetes.io/elb.multicluster: "true"                              # 启用多集群
    kubernetes.io/elb.multicluster-loadbalancer-weight: "100"           # 本集群权重
    kubernetes.io/elb.multicluster-resource-recycle-policy: member-only # 建议配置member-only仅回收本集群后端,避免误删多集群共享的ELB相关资源
spec:
  type: LoadBalancer
  selector: {}
  ports:
  - name: service-port
    protocol: UDP
    port: 9096                                 # ELB监听器端口(前端端口)
    targetPort: 9091
---
# EndpointSlice
apiVersion: discovery.k8s.io/v1
kind: EndpointSlice
metadata:
  name: custom-backend-service-c
  labels:
    kubernetes.io/service-name: custom-backend-service
    endpointslice.kubernetes.io/managed-by: my-controller
addressType: IPv4
ports:
- name: service-port
  protocol: UDP
  port: 9091                                      # ELB后端端口(转发端口),即后端实际监听端口
endpoints:
- addresses: ["192.168.1.10"]
  conditions:
    ready: true
- addresses: ["192.168.1.11"]
  conditions:
    ready: true

多集群权重说明:权重取值1-100。集群A、B 均配置100表示双活对等(流量均分);主集群100、备集群1表示主备容灾(主集群故障时流量切换到备集群)。删除某个集群的Service时,仅回收该集群注册的后端,不影响其他集群。

注解说明

注解

必填

说明

cce.io/elb.endpointslice-user-managed

是

声明该Service的ELB后端由EndpointSlice管理,取值为 "true"

kubernetes.io/elb.id

是

关联已有的ELB实例

kubernetes.io/elb.ip-target-enabled

否

启用IP类型后端。地址在集群VPC之外时必须配置 "true";在VPC子网内无需配置

kubernetes.io/elb.class

是

ELB类型,独享型配置为performance

kubernetes.io/elb.multicluster

多集群时必填

启用多集群共享后端服务器组

kubernetes.io/elb.multicluster-loadbalancer-weight

多集群时必填

本集群权重,取值1-100

kubernetes.io/elb.multicluster-resource-recycle-policy

多集群时必填

回收策略,建议配置为member-only仅回收本集群后端,避免误删多集群共享的ELB相关资源。

ELB资源的删除策略,默认为member-only。

  • member-only:只清理ELB的后端云服务器
  • cascade:强制回收ELB下所有资源

相关文档