通过EndpointSlice自定义ELB后端
创建负载均衡类型的服务时,CCE会根据Service中配置的标签选择器自动关联集群内的Pod,并将其注册为ELB的后端服务器,无需您手动维护后端地址。但在部分场景中,后端地址并不在集群的Pod网络中。例如业务节点通过扩展网卡承载流量、后端服务运行在集群外部时,CCE无法自动发现这些地址,ELB也就无法将其纳入负载均衡。
此时,您可以通过自定义EndpointSlice的方式,将集群内外的任意IP地址注册为ELB的后端,实现地址的声明式管理:
- 创建不设置标签选择器的Service,并添加注解,声明后端由您自行管理。
- 手动创建EndpointSlice对象,声明后端IP地址和端口。
- CCE自动读取EndpointSlice中的地址并同步到ELB后端。
此后,地址列表发生变化(新增、删除、标记不健康)时,ELB后端自动同步更新,无需手动维护。
工作原理
- Service通过cce.io/elb.endpointslice-user-managed注解声明:后端地址不再由CCE通过标签选择器自动关联Pod,而是由EndpointSlice提供。
- 您手动创建EndpointSlice对象,声明后端IP地址和端口,并通过标签kubernetes.io/service-name关联到目标Service。
- CCE持续监听该Service对应的EndpointSlice,将其中声明的地址和端口同步注册为ELB的后端服务器。
- 当EndpointSlice中的地址发生变化(新增、删除、修改就绪状态)时,CCE将变更同步到ELB后端,实现地址的自动增删。
前提条件
- v1.31集群:v1.31.14-r80及以上版本
- v1.32集群:v1.32.13-r50及以上版本
- v1.33集群:v1.33.13-r0及以上版本
- v1.34集群:v1.34.10-r0及以上版本
- v1.35集群:v1.35.7-r0及以上版本
- v1.36集群:v1.36.3-r0及以上版本
- 其他更高版本的集群
约束与限制
- 仅独享型负载均衡实例支持此功能。
- 请勿为同一Service同时创建Endpoints(旧版端点对象),避免与EndpointSlice产生地址和端口冲突。
- 停止使用本功能时,需移除注解并恢复Service的标签选择器。若保持空选择器,已注册的后端需手动清理。
- 业务端口需真实监听,ELB健康检查和流量转发依赖后端实际监听对应端口。
- 请确保后端所在安全组放通ELB到后端地址的健康检查和业务流量。
- 不支持依赖后端Pod/Node关联定义相关功能,例如:动态调整后端云服务器权重、配置StatefulSet后端Pod的权重、通过ELB健康检查设置Pod就绪状态。
使用前需要了解的概念
两个独立配置:地址来源与注册方式
使用本功能前,需要理解两个相互独立的配置项:
| 配置项 | 注解 | 作用 |
|---|---|---|
| 后端地址来源 | cce.io/elb.endpointslice-user-managed | 声明后端地址由EndpointSlice提供(而不是自动关联Pod) |
| 后端注册方式 | kubernetes.io/elb.ip-target-enabled | 声明后端按IP方式注册(IP类型后端) |
两者可独立组合,按后端地址的位置选择:
| 组合方式 | 适用场景 | 行为 |
|---|---|---|
| 仅配置地址来源 | 后端地址在集群VPC子网内 | CCE自动识别后端所属子网并完成注册 |
| 同时配置两个 | 后端地址在集群VPC之外,或需要统一按 IP 方式注册 | 不依赖子网信息,直接按 IP 地址注册 |
kubernetes.io/elb.ip-target-enabled不是必选项。只有后端地址在集群VPC之外时才需要配置;地址在VPC子网内时无需配置。
客户端IP的获取限制
配置IP类型后端(ip-target-enabled)后,ELB转发流量到后端时使用后端子网的IP作为源地址,后端无法直接获取客户端真实IP:
| 监听器类型 | 客户端IP获取情况 |
|---|---|
| 四层(TCP/UDP) | 无法直接获取,收到报文的源IP为ELB后端子网IP。 |
| 七层(HTTP/HTTPS) | 可通过X-Forwarded-For等头字段获取,请参考独享型ELB获取客户端真实IP。 |
如果业务依赖客户端真实IP(如访问控制、风控、日志分析),请评估启用IP类型后端的影响。
端口对应关系
Service和EndpointSlice各有独立的端口定义,需要理解两者的对应关系:
- ELB监听器端口(前端端口):Service的spec.ports[].port
- ELB后端端口(转发端口):EndpointSlice的ports[].port
| 需要保证一致的内容 | 说明 |
|---|---|
| 端口名称 | EndpointSlice的ports[].name必须与Service的spec.ports[].name一致 |
| 协议 | EndpointSlice的ports[].protocol必须与Service的spec.ports[].protocol一致 |
| 端口号 | 不要求一致。监听端口(Service)与后端实际端口(EndpointSlice)可以不同 |
本功能后端端口直接取EndpointSlice中声明的端口,Service的targetPort字段不参与后端端口解析(仅因兼容Service定义而保留)。
健康检查机制
后端注册与转发由两层机制控制:
| 层级 | 控制方 | 作用 |
|---|---|---|
| 第一层:EndpointSlice就绪状态 | 您 | 控制后端是否注册:conditions.ready为true(或未设置)时注册,为false时不注册 |
| 第二层:ELB健康检查 | ELB | 控制后端实际转发:不健康的后端自动摘除流量 |
conditions.ready未设置时视为健康。请勿显式设置ready: false,否则后端不会注册。
操作步骤
步骤一:准备ELB
在ELB控制台或通过接口创建独享型负载均衡实例,并创建好对应的监听器。
步骤二:创建Service
创建类型为负载均衡(LoadBalancer)的Service,声明后端由您自行管理,并关联已有的ELB实例。
- 不设置标签选择器(selector: {}),表示该Service不自动关联集群内Pod。
- 添加注解,声明后端由您自行管理,并关联已有的ELB实例。
apiVersion: v1
kind: Service
metadata:
name: custom-backend-service
annotations:
kubernetes.io/elb.class: performance # 仅独享型负载均衡实例支持此功能
kubernetes.io/elb.id: "<ELB实例ID>" # 关联已有的 ELB 实例
cce.io/elb.endpointslice-user-managed: "true" # 声明后端由 EndpointSlice 管理
spec:
type: LoadBalancer
selector: {} # 空选择器,不关联 Pod
ports:
- name: service-port
protocol: UDP
port: <监听器端口> # ELB 监听器端口
targetPort: <后端端口> # 保留兼容,本功能下不参与后端端口解析
- 如果后端地址在集群VPC之外,需要在上述注解中追加kubernetes.io/elb.ip-target-enabled: "true";如果后端地址在集群VPC子网内,无需配置该注解。配置后请注意客户端IP获取限制。
- 如声明后端自行管理时同时错误设置了非空的标签选择器,则标签选择器将被静默忽略,后端仍完全由关联的EndpointSlices决定。
步骤三:创建EndpointSlice
创建EndpointSlice对象,声明后端地址和端口,并通过标签关联到步骤二中创建的Service。
apiVersion: discovery.k8s.io/v1
kind: EndpointSlice
metadata:
name: custom-backend-service-xxx
labels:
kubernetes.io/service-name: custom-backend-service # 关联 Service(必填)
endpointslice.kubernetes.io/managed-by: my-controller # 标识管理方(自定义),避免与K8S社区原生控制器名称冲突
addressType: IPv4 # 地址类型:IPv4 或 IPv6
ports:
- name: service-port # 端口名称,需与 Service 端口名称一致
protocol: UDP
port: <后端端口> # 后端实际监听端口
endpoints:
- addresses: ["<后端IP-1>"] # 后端 IP 地址
conditions:
ready: true
- addresses: ["<后端IP-2>"]
conditions:
ready: true 步骤四:验证
确认后端地址已成功注册到ELB,且健康检查状态正常。
- 在ELB控制台查看该监听器对应的后端服务器组。
- 确认EndpointSlice中声明的后端地址已出现在后端服务器组中。
- 确认后端地址的健康检查状态为正常。若地址未注册或状态异常,请检查:
- EndpointSlice中conditions.ready是否为true(或未设置)。
- 后端所在安全组是否放通了ELB到后端地址的健康检查和业务流量。
- 后端业务是否真实监听EndpointSlice中声明的端口。
配置示例
示例1:后端地址在集群VPC内
适用于后端地址为集群VPC内弹性网卡、辅助网卡等地址的场景。仅配置地址来源注解,不配置IP类型后端注解:
# Service
apiVersion: v1
kind: Service
metadata:
name: custom-backend-service
annotations:
kubernetes.io/elb.class: performance
kubernetes.io/elb.id: "<ELB实例ID>"
cce.io/elb.endpointslice-user-managed: "true"
spec:
type: LoadBalancer
selector: {}
ports:
- name: service-port
protocol: TCP
port: 9095 # ELB监听器端口(前端端口)
targetPort: 9090
---
# EndpointSlice
apiVersion: discovery.k8s.io/v1
kind: EndpointSlice
metadata:
name: custom-backend-service-a
labels:
kubernetes.io/service-name: custom-backend-service
endpointslice.kubernetes.io/managed-by: my-controller
addressType: IPv4
ports:
- name: service-port
protocol: TCP
port: 9090 # ELB后端端口(转发端口),即后端实际监听端口
endpoints:
- addresses: ["192.168.1.10"]
conditions:
ready: true
- addresses: ["192.168.1.11"]
conditions:
ready: true 示例2:后端地址在集群VPC之外
适用于后端地址为集群外、扩展网卡等VPC外地址的场景。必须配置IP类型后端注解,注意客户端IP获取限制:
# Service
apiVersion: v1
kind: Service
metadata:
name: custom-backend-service
annotations:
kubernetes.io/elb.class: performance
kubernetes.io/elb.id: "<ELB实例ID>"
kubernetes.io/elb.ip-target-enabled: "true" # VPC 外地址必须配置
cce.io/elb.endpointslice-user-managed: "true"
spec:
type: LoadBalancer
selector: {}
ports:
- name: service-port
protocol: UDP
port: 9096 # ELB监听器端口(前端端口)
targetPort: 9091
---
# EndpointSlice
apiVersion: discovery.k8s.io/v1
kind: EndpointSlice
metadata:
name: custom-backend-service-b
labels:
kubernetes.io/service-name: custom-backend-service
endpointslice.kubernetes.io/managed-by: my-controller
addressType: IPv4
ports:
- name: service-port
protocol: UDP
port: 9091 # ELB后端端口(转发端口),即后端实际监听端口
endpoints:
- addresses: ["192.168.1.10"]
conditions:
ready: true
- addresses: ["192.168.1.11"]
conditions:
ready: true 示例3:多集群共享ELB后端
适用于多个集群的地址注册到同一个后端服务器组,实现跨集群负载分担与容灾。每个集群创建指向同一ELB的Service,配置多集群注解,各集群独立维护自己的EndpointSlice。
# 集群 A 的 Service(集群 B 配置相同,权重按需调整)
apiVersion: v1
kind: Service
metadata:
name: custom-backend-service
annotations:
kubernetes.io/elb.class: performance
kubernetes.io/elb.id: "<同一ELB实例ID>"
kubernetes.io/elb.ip-target-enabled: "true"
cce.io/elb.endpointslice-user-managed: "true"
kubernetes.io/elb.multicluster: "true" # 启用多集群
kubernetes.io/elb.multicluster-loadbalancer-weight: "100" # 本集群权重
kubernetes.io/elb.multicluster-resource-recycle-policy: member-only # 建议配置member-only仅回收本集群后端,避免误删多集群共享的ELB相关资源
spec:
type: LoadBalancer
selector: {}
ports:
- name: service-port
protocol: UDP
port: 9096 # ELB监听器端口(前端端口)
targetPort: 9091
---
# EndpointSlice
apiVersion: discovery.k8s.io/v1
kind: EndpointSlice
metadata:
name: custom-backend-service-c
labels:
kubernetes.io/service-name: custom-backend-service
endpointslice.kubernetes.io/managed-by: my-controller
addressType: IPv4
ports:
- name: service-port
protocol: UDP
port: 9091 # ELB后端端口(转发端口),即后端实际监听端口
endpoints:
- addresses: ["192.168.1.10"]
conditions:
ready: true
- addresses: ["192.168.1.11"]
conditions:
ready: true 多集群权重说明:权重取值1-100。集群A、B 均配置100表示双活对等(流量均分);主集群100、备集群1表示主备容灾(主集群故障时流量切换到备集群)。删除某个集群的Service时,仅回收该集群注册的后端,不影响其他集群。
注解说明
| 注解 | 必填 | 说明 |
|---|---|---|
cce.io/elb.endpointslice-user-managed | 是 | 声明该Service的ELB后端由EndpointSlice管理,取值为 "true" |
kubernetes.io/elb.id | 是 | 关联已有的ELB实例 |
kubernetes.io/elb.ip-target-enabled | 否 | 启用IP类型后端。地址在集群VPC之外时必须配置 "true";在VPC子网内无需配置 |
kubernetes.io/elb.class | 是 | ELB类型,独享型配置为performance |
kubernetes.io/elb.multicluster | 多集群时必填 | 启用多集群共享后端服务器组 |
kubernetes.io/elb.multicluster-loadbalancer-weight | 多集群时必填 | 本集群权重,取值1-100 |
kubernetes.io/elb.multicluster-resource-recycle-policy | 多集群时必填 | 回收策略,建议配置为member-only仅回收本集群后端,避免误删多集群共享的ELB相关资源。 ELB资源的删除策略,默认为member-only。
|