创建负载均衡类型的服务
操作场景
负载均衡(LoadBalancer)类型的服务可以通过弹性负载均衡(ELB)从公网访问到工作负载,与弹性IP方式相比提供了高可靠的保障。负载均衡访问方式由公网弹性负载均衡服务地址以及设置的访问端口组成,例如“10.117.117.117:80”。
在使用CCE Autopilot集群 + 独享型ELB实例时,支持ELB直通Pod,使部署在容器中的业务时延降低、性能无损耗。
从集群外部访问时,从ELB直接转发到Pod;集群内部访问可通过Service转发到Pod。
约束与限制
- 自动创建的ELB实例建议不要被其他资源使用,否则会在删除时被占用,导致资源残留。
- CCE Autopilot集群仅支持选择独享型ELB网络类型,且独享型ELB网络类型必须支持私网(有私有IP地址)。如果需要Service支持HTTP,则独享型ELB规格需要为网络型(TCP/UDP/TLS)和应用型(HTTP/HTTPS)。
创建负载均衡类型的服务
- 登录CCE控制台,单击集群名称进入集群。
- 在左侧导航栏中选择“服务”,在右上角单击“创建服务”。
- 设置基础配置参数。
参数
说明
访问类型
选择“负载均衡”。
服务名称
自定义服务名称,可与工作负载名称保持一致。
命名空间
工作负载所在命名空间。
选择器
您可以添加Pod标签的键值,Service将会根据标签与工作负载的Pod进行关联,将流量导向包含该标签的Pod。
您也可以引用已有工作负载的标签,单击“引用负载标签”,在弹出的窗口中选择负载,然后单击“确定”。
- 设置负载均衡配置参数。
ELB类型仅支持“独享型”。独享型ELB支持网络型(TCP/UDP/TLS)、应用型(HTTP/HTTPS)、网络型(TCP/UDP/TLS)&应用型类型(HTTP/HTTPS)。
参数
说明
负载均衡器
选择弹性负载均衡的类型及创建方式。- 选择已有:仅支持选择与集群在同一个VPC下的ELB实例。如果没有可选的ELB实例,请单击“创建负载均衡器”跳转到ELB控制台创建。
- 自动创建:自动创建的负载均衡实例将创建到集群所在的VPC,具体配置如表1所示。
表1 ELB配置 ELB类型
配置
独享型ELB配置
基础配置
- 规格:
- 弹性规格:适用于业务用量波动较大的场景,按实际使用量收取每小时使用的容量费用。
- 固定规格:适用于业务用量较为稳定的场景,按固定规格折算收取每小时使用的容量费用。
- 可用区:可以选择在多个可用区创建负载均衡实例,提高服务的可用性。如果业务需要考虑容灾能力,建议选择多个可用区。
- 实例名称:请填写ELB名称。
- 企业项目:该参数仅对开通企业项目的企业客户账号显示。企业项目是一种云资源管理方式,企业项目管理服务提供统一的云资源按项目管理,以及项目内的资源管理、成员管理。
- 资源标签:通过为资源添加标签,可以对资源进行自定义标记,实现资源的分类。您可以在TMS中创建“预定义标签”,预定义标签对所有支持标签功能的服务资源可见,通过使用预定义标签可以提升标签创建和迁移效率。v1.27.5-r0、v1.28.3-r0及以上版本集群支持。
网络配置
- 前端子网:用于分配ELB实例对外服务的IP地址。
- 后端子网:用于与后端服务建立连接的IP地址。
- 弹性公网IP:选择“自动创建”时,可配置公网带宽的计费方式及带宽大小。
- 填写访问设置参数。
参数
说明
服务亲和
选择将外部流量路由到集群范围的端点。
集群级别:集群下所有节点的IP+节点端口均可以访问到此服务关联的负载,服务访问会因路由跳转导致一定性能损失,且无法获取到客户端源IP。
健康检查
设置负载均衡的健康检查配置。- 全局检查:全局检查仅支持使用相同协议的端口,无法对多个使用不同协议的端口生效。如果您需要配置多个不同的协议端口,建议使用“自定义检查”。
- 自定义检查:在端口配置中对多种不同协议的端口设置健康检查。
端口配置
- 单击“创建”,创建Service。
您可以在创建工作负载时通过kubectl命令行设置Service访问方式。本节以nginx为例,说明kubectl命令实现负载均衡 ( LoadBalancer )访问的方法。
- 请参见通过kubectl连接集群,使用kubectl连接集群。
- 创建并编辑nginx-deployment.yaml以及nginx-elb-svc.yaml文件。
其中,nginx-deployment.yaml和nginx-elb-svc.yaml为自定义名称,您可以随意命名。
vi nginx-deployment.yaml
apiVersion: apps/v1 kind: Deployment metadata: name: nginx spec: replicas: 1 selector: matchLabels: app: nginx template: metadata: labels: app: nginx spec: containers: - image: nginx name: nginx imagePullSecrets: - name: default-secretvi nginx-elb-svc.yaml
apiVersion: v1 kind: Service metadata: name: nginx annotations: kubernetes.io/elb.id: <your_elb_id> # ELB ID,替换为实际值 kubernetes.io/elb.class: performance # 负载均衡器类型 kubernetes.io/elb.lb-algorithm: ROUND_ROBIN # 负载均衡器算法 kubernetes.io/elb.session-affinity-mode: SOURCE_IP # 会话保持类型为源IP kubernetes.io/elb.session-affinity-option: '{"persistence_timeout": "30"}' # 会话保持时间(分钟) kubernetes.io/elb.health-check-flag: 'on' # 开启ELB健康检查功能 kubernetes.io/elb.health-check-option: '{ "protocol":"TCP", "delay":"5", "timeout":"10", "max_retries":"3" }' spec: selector: app: nginx ports: - name: service0 port: 80 #访问Service的端口,也是负载均衡上的监听器端口。 protocol: TCP targetPort: 80 #Service访问目标容器的端口,此端口与容器中运行的应用强相关 nodePort: 31128 #节点的端口号,如不指定,将在30000-32767范围内随机生成一个端口号 type: LoadBalancer上述示例通过Annotation(注解)实现负载均衡的一些高级功能,例如会话保持、健康检查等,对应的说明请参见表3。
除本示例中的功能外,如需了解更多高级功能相关注解及示例,请参见使用Annotation配置负载均衡。
表3 annotations参数 参数
是否必填
参数类型
描述
kubernetes.io/elb.id
是
String
为负载均衡实例的ID。
在关联已有ELB时需填写。
获取方法:
在ELB控制台,单击ELB的名称,在ELB详情页的“基本信息”页签下找到“ID”字段复制即可。
kubernetes.io/elb.class
是
String
取值如下:
- performance:独享型负载均衡。
说明:负载均衡类型的服务对接已有的独享型ELB时,网络类型必须支持私网(有私有IP地址)。
kubernetes.io/elb.lb-algorithm
否
String
后端云服务器组的负载均衡算法,默认值为“ROUND_ROBIN”。
取值范围:
- ROUND_ROBIN:加权轮询算法。
- LEAST_CONNECTIONS:加权最少连接算法。
- SOURCE_IP:源IP算法。
说明:当该字段的取值为SOURCE_IP时,后端云服务器组绑定的后端云服务器的权重设置(weight字段)无效,且不支持开启会话保持。
kubernetes.io/elb.session-affinity-mode
否
String
支持基于源IP地址的简单会话保持,即来自同一IP地址的访问请求转发到同一台后端服务器上。
- 不启用:不填写该参数。
- 开启会话保持:仅前端协议为TCP/UDP的监听器支持,会话保持类型支持源IP地址,参数取值为“SOURCE_IP”。
说明:当kubernetes.io/elb.lb-algorithm设置为“SOURCE_IP”(源IP算法)时,不支持开启会话保持。
kubernetes.io/elb.session-affinity-option
否
表4 Object
ELB会话保持配置选项,可设置会话保持的超时时间。
kubernetes.io/elb.health-check-flag
否
String
是否开启ELB健康检查功能。
- 开启:空值或"on"
- 关闭:"off"
开启时需同时填写kubernetes.io/elb.health-check-option字段。
kubernetes.io/elb.health-check-option
否
表5 Object
ELB健康检查配置选项。
- 创建工作负载。
kubectl create -f nginx-deployment.yaml
回显如下,表示工作负载已创建完成。
deployment/nginx created
kubectl get pod
回显如下,工作负载状态为Running状态,表示工作负载已运行中。
NAME READY STATUS RESTARTS AGE nginx-2601814895-c1xhw 1/1 Running 0 6s
- 创建服务。
kubectl create -f nginx-elb-svc.yaml
回显如下,表示服务已创建。
service/nginx created
kubectl get svc
回显如下,表示工作负载访问方式已设置成功,工作负载可访问。
NAME TYPE CLUSTER-IP EXTERNAL-IP PORT(S) AGE kubernetes ClusterIP 10.247.0.1 <none> 443/TCP 3d nginx LoadBalancer 10.247.130.196 10.78.42.242 80:31540/TCP 51s
- 在浏览器中输入访问地址,例如输入10.78.42.242:80。10.78.42.242为负载均衡实例IP地址,80为对应界面上的访问端口。
可成功访问nginx。
图2 通过负载均衡访问nginx
您可以在创建工作负载时通过kubectl命令行设置Service访问方式。本节以nginx为例,说明kubectl命令实现负载均衡 ( LoadBalancer )访问的方法。
- 请参见通过kubectl连接集群,使用kubectl连接集群。
- 创建并编辑nginx-deployment.yaml以及nginx-elb-svc.yaml文件。
其中,nginx-deployment.yaml和nginx-elb-svc.yaml为自定义名称,您可以随意命名。
vi nginx-deployment.yamlapiVersion: apps/v1 kind: Deployment metadata: name: nginx spec: replicas: 1 selector: matchLabels: app: nginx template: metadata: labels: app: nginx spec: containers: - image: nginx name: nginx imagePullSecrets: - name: default-secretvi nginx-elb-svc.yaml
独享型负载均衡(公网访问)Service示例:apiVersion: v1 kind: Service metadata: name: nginx labels: app: nginx namespace: default annotations: kubernetes.io/elb.class: performance kubernetes.io/elb.autocreate: '{ "type": "public", "bandwidth_name": "cce-bandwidth-1626694478577", "bandwidth_chargemode": "bandwidth", "bandwidth_size": 5, "bandwidth_sharetype": "PER", "eip_type": "5_bgp", "vip_subnet_cidr_id": "*****", "vip_address": "**.**.**.**", "elb_virsubnet_ids": ["*****"], "available_zone": [ "cn-north-4b" ], "l4_flavor_name": "L4_flavor.elb.s1.small" }' kubernetes.io/elb.enterpriseID: '0' # 负载均衡所属企业项目ID kubernetes.io/elb.lb-algorithm: ROUND_ROBIN # 负载均衡器算法 kubernetes.io/elb.session-affinity-mode: SOURCE_IP # 会话保持类型为源IP kubernetes.io/elb.session-affinity-option: '{"persistence_timeout": "30"}' # 会话保持时间(分钟) kubernetes.io/elb.health-check-flag: 'on' # 开启ELB健康检查功能 kubernetes.io/elb.health-check-option: '{ "protocol":"TCP", "delay":"5", "timeout":"10", "max_retries":"3" }' kubernetes.io/elb.tags: key1=value1,key2=value2 # 添加ELB资源标签 spec: selector: app: nginx ports: - name: cce-service-0 targetPort: 80 nodePort: 0 port: 80 protocol: TCP type: LoadBalancer上述示例通过Annotation(注解)实现负载均衡的一些高级功能,例如会话保持、健康检查等,对应的说明请参见表6。
除本示例中的功能外,如需了解更多高级功能相关注解及示例,请参见使用Annotation配置负载均衡。
表6 annotations参数 参数
是否必填
参数类型
描述
kubernetes.io/elb.class
是
String
请根据不同的应用场景和功能需求选择合适的负载均衡器类型。
取值如下:
- performance:独享型负载均衡。
kubernetes.io/elb.autocreate
是
elb.autocreate object
自动创建service关联的ELB。
说明:公网自动创建:负载均衡器购买弹性公网IP,允许公网和私网访问。
私网自动创建:负载均衡器不购买弹性公网IP,只允许私网访问。
示例:
- 公网自动创建:
值为 '{"type":"public","bandwidth_name":"cce-bandwidth-1551163379627","bandwidth_chargemode":"bandwidth","bandwidth_size":5,"bandwidth_sharetype":"PER","eip_type":"5_bgp","name":"james","available_zone": ["cn-east-3a"],"l4_flavor_name": "L4_flavor.elb.s1.small"}'。
- 私网自动创建:
值为 '{"type":"inner","available_zone": ["cn-east-3a"],"l4_flavor_name": "L4_flavor.elb.s1.small"}'。
kubernetes.io/elb.subnet-id
-
String
为集群所在子网的ID,取值范围:1-100字符。
- Kubernetes v1.11.7-r0及以下版本的集群自动创建时为必填参数。
- Kubernetes v1.11.7-r0以上版本的集群:可不填。
kubernetes.io/elb.enterpriseID
否
String
表示ELB企业项目ID,仅限于已开通企业项目的企业客户账号使用。给定企业项目ID后,相关资源将直接创建在该ELB企业项目下。
该字段不传(或传为字符串'0'),则将资源绑定给默认企业项目。
获取方法:
登录企业项目管理控制台后,在打开的企业项目列表中单击要加入的企业项目名称,进入企业项目详情页,找到“ID”字段复制即可。
kubernetes.io/elb.lb-algorithm
否
String
后端云服务器组的负载均衡算法,默认值为“ROUND_ROBIN”。
取值范围:
- ROUND_ROBIN:加权轮询算法。
- LEAST_CONNECTIONS:加权最少连接算法。
- SOURCE_IP:源IP算法。
说明:当该字段的取值为SOURCE_IP时,后端云服务器组绑定的后端云服务器的权重设置(weight字段)无效,且不支持开启会话保持。
kubernetes.io/elb.session-affinity-mode
否
String
支持基于源IP地址的简单会话保持,即来自同一IP地址的访问请求转发到同一台后端服务器上。
- 不启用:不填写该参数。
- 开启会话保持:需增加该参数,取值“SOURCE_IP”,表示基于源IP地址。
说明:当kubernetes.io/elb.lb-algorithm设置为“SOURCE_IP”(源IP算法)时,不支持开启会话保持。
kubernetes.io/elb.session-affinity-option
否
表4 Object
ELB会话保持配置选项,可设置会话保持的超时时间。
kubernetes.io/elb.health-check-flag
否
String
是否开启ELB健康检查功能。
- 开启:“(空值)”或“on”
- 关闭:“off”
开启时需同时填写kubernetes.io/elb.health-check-option字段。
kubernetes.io/elb.health-check-option
否
表5 Object
ELB健康检查配置选项。
kubernetes.io/elb.tags
否
String
为ELB添加资源标签,仅自动创建ELB时支持设置。
格式为key=value,同时添加多个标签时以英文逗号(,)隔开。
表7 elb.autocreate字段数据结构说明 参数
是否必填
参数类型
描述
name
否
String
自动创建的负载均衡的名称。
取值范围:只能由中文、英文字母、数字、下划线、中划线、点组成,且长度范围为1-64个字符。
默认名称:cce-lb+service.UID
type
否
String
负载均衡实例网络类型,公网或者私网。
- public:公网型负载均衡
- inner:私网型负载均衡
默认类型:inner
bandwidth_name
公网型负载均衡必填
String
带宽的名称,默认值为:cce-bandwidth-******。
取值范围:只能由中文、英文字母、数字、下划线、中划线、点组成,且长度范围为1-64个字符。
bandwidth_chargemode
公网型负载均衡必填
String
带宽付费模式。
- bandwidth:按带宽
- traffic:按流量
默认类型:bandwidth
bandwidth_size
公网型负载均衡必填
Integer
带宽大小,默认1Mbit/s~2000Mbit/s,请根据Region带宽支持范围设置。
调整带宽时的最小单位会根据带宽范围不同存在差异。- 小于等于300Mbit/s:默认最小单位为1Mbit/s。
- 300Mbit/s~1000Mbit/s:默认最小单位为50Mbit/s。
- 大于1000Mbit/s:默认最小单位为500Mbit/s。
bandwidth_sharetype
公网型负载均衡必填
String
带宽共享方式。
- PER:独享带宽
eip_type
公网型负载均衡必填
String
弹性公网IP类型。
- 5_telcom:电信
- 5_union:联通
- 5_bgp:全动态BGP
- 5_sbgp:静态BGP
vip_subnet_cidr_id
否
String
指定ELB所在的子网,该子网必须属于集群所在的VPC。
如不指定,则ELB与集群在同一个子网。
vip_address
否
String
负载均衡器的内网IP。仅支持指定IPv4地址,不支持指定IPv6地址。
该IP必须为ELB所在子网网段中的IP。若不指定,自动从ELB所在子网网段中生成一个IP地址。
available_zone
是
Array of strings
负载均衡所在可用区。
可以通过查询可用区列表获取所有支持的可用区。
独享型负载均衡器独有字段。
l4_flavor_name
是
String
四层负载均衡实例规格名称。
可以通过查询规格列表获取所有支持的类型。
- 弹性规格:适用于业务用量波动较大的场景,按实际使用量收取每小时使用的容量费用。
- 固定规格:适用于业务用量较为稳定的场景,按固定规格折算收取每小时使用的容量费用。
独享型负载均衡器独有字段。
l7_flavor_name
否
String
七层负载均衡实例规格名称。
可以通过查询规格列表获取所有支持的类型。
- 弹性规格:适用于业务用量波动较大的场景,按实际使用量收取每小时使用的容量费用。
- 固定规格:适用于业务用量较为稳定的场景,按固定规格折算收取每小时使用的容量费用。
独享型负载均衡器独有字段,必须与l4_flavor_name对应规格的类型一致,即都为弹性规格或都为固定规格。
elb_virsubnet_ids
否
Array of strings
填写子网的网络ID,指定负载均衡后端所在子网,用于分配与后端服务建立连接的IP地址,不填默认为vip_subnet_cidr_id参数所选的子网。不同实例规格将占用不同数量子网IP,不建议使用其他资源(如集群,节点等)的子网网段。
独享型负载均衡器独有字段。
示例:
"elb_virsubnet_ids": [ "14567f27-8ae4-42b8-ae47-9f847a4690dd" ]
获取方式:
登录VPC控制台,在左侧导航栏选择“子网”,根据集群所在的VPC名称筛选子网,单击子网名称,在“基本信息”页签下找到“网络ID”字段复制即可。
- 创建工作负载。
kubectl create -f nginx-deployment.yaml
回显如下,表示工作负载已开始创建。
deployment/nginx created
kubectl get pod
回显如下,工作负载状态为Running状态,表示工作负载已运行中。
NAME READY STATUS RESTARTS AGE nginx-2601814895-c1xhw 1/1 Running 0 6s
- 创建服务。
kubectl create -f nginx-elb-svc.yaml
回显如下,表示服务已创建。
service/nginx created
kubectl get svc
回显如下,表示工作负载访问方式已设置成功,工作负载可访问。
NAME TYPE CLUSTER-IP EXTERNAL-IP PORT(S) AGE kubernetes ClusterIP 10.247.0.1 <none> 443/TCP 3d nginx LoadBalancer 10.247.130.196 10.78.42.242 80:31540/TCP 51s
- 在浏览器中输入访问地址,例如输入10.78.42.242:80。10.78.42.242为负载均衡实例IP地址,80为对应界面上的访问端口。
可成功访问nginx。
图3 通过负载均衡访问nginx