云原生网络2.0模型说明
云原生网络2.0模型
云原生网络2.0是自研的新一代容器网络模型，深度整合了虚拟私有云VPC的弹性网卡（Elastic Network Interface，简称ENI）和辅助弹性网卡（Sub Network Interface，简称Sub-ENI）的能力，将Pod直接绑定弹性网卡或辅助弹性网卡，使每个Pod在VPC内均拥有独立的IP地址，且支持ELB直通容器、Pod绑定安全组、Pod绑定弹性公网IP等特性。由于不需要使用容器隧道封装和NAT地址转换，云原生网络2.0模型与容器隧道网络模型和VPC网络模型相比具有更高的网络性能。
在云原生网络2.0模型的集群中，Pod依赖弹性网卡（ENI）/辅助弹性网卡（Sub-ENI）对外进行网络通信：
- 裸金属节点上运行的Pod：使用弹性网卡对外进行网络通信。
- ECS节点上运行的Pod：使用辅助弹性网卡对外进行网络通信，辅助弹性网卡通过VLAN子接口挂载在ECS的弹性网卡上。
- Pod数量上限：由于需要为每个Pod绑定网卡，节点上可运行的Pod数量上限由该节点的能绑定的网卡个数和网卡端口数决定。
- 通信方式：节点内Pod间通信、跨节点Pod间通信、Pod访问集群外网络的情况均直接通过VPC的弹性网卡/弹性辅助网卡进行流量转发。
约束与限制
仅CCE Turbo集群支持使用云原生网络2.0模型。
优缺点
优点
- 基于VPC构建容器网络，每个Pod具有独立的网卡及IP地址，易于排查网络问题，且具有最高的性能表现。
- 在同一个VPC内，由于Pod直接绑定VPC网卡，集群外部的资源可以与集群内部的容器直接进行网络通信。
同理，如果该VPC和其他VPC或数据中心网络环境连通，在网段不冲突的情况下，其他VPC或数据中心所属的资源也可以与集群内部的容器直接进行网络通信。
- Pod可直接使用VPC提供的负载均衡、安全组、弹性公网IP等能力。
缺点
由于容器网络基于VPC构建，每个Pod都会从VPC网段内分配IP地址，消耗VPC的地址空间，创建集群前需要合理规划好容器网段。
适用场景
- 性能要求高：由于云原生网络2.0直接使用VPC网络构建容器网络，容器通信不需要进行隧道封装和NAT转换，所以适用于对带宽、时延要求极高的业务场景，比如：线上直播、电商抢购等。
- 大规模组网：云原生网络2.0当前最大可支持2000个ECS节点，10万个Pod。
网段规划建议
在集群网络构成中介绍集群中网络地址可分为集群网络、容器网络、服务网络三块，在规划网络地址时需要从如下方面考虑：
- 集群所在VPC下所有子网（包括扩展网段子网）不能和服务网段冲突。
- 保证每个网段有足够的IP地址可用。
- 集群网段的IP地址要与集群规模相匹配，否则会因为IP地址不足导致无法创建节点。
- 容器网段的IP地址要与业务规模相匹配，否则会因为IP地址不足导致无法创建Pod。
云原生网络2.0模型下，由于容器网段与节点网段共同使用VPC下的网络地址，建议容器子网与节点子网不要使用同一个子网，否则容易出现IP资源不足导致容器或节点创建失败的情况。
另外云原生网络2.0模型下容器网段支持在创建集群后增加子网，扩展可用IP数量，此时需要注意增加的子网不要与容器网段其他子网存在网络冲突。
云原生网络2.0访问示例
本示例中，已创建一个CCE Turbo集群，且集群中包含3个ECS节点。
在ECS控制台中查看其中一个节点的基本信息，在网卡信息中可以看到节点上绑定了一个主网卡和扩展网卡，这两个网卡都属于弹性网卡，其中扩展网卡的IP地址属于容器网络网段，用于给Pod挂载辅助弹性网卡Sub-ENI。
在云原生网络2.0集群中创建工作负载的访问示例如下。
- 使用kubectl命令行工具连接集群，详情请参见通过kubectl连接集群。
- 在集群中创建一个Deployment。
创建deployment.yaml文件，文件内容示例如下：
kind: Deployment apiVersion: apps/v1 metadata: name: example namespace: default spec: replicas: 6 selector: matchLabels: app: example template: metadata: labels: app: example spec: containers: - name: container-0 image: 'nginx:perl' resources: limits: cpu: 250m memory: 512Mi requests: cpu: 250m memory: 512Mi imagePullSecrets: - name: default-secret创建该工作负载：
kubectl apply -f deployment.yaml
- 查看已运行的Pod。
kubectl get pod -owide
回显如下：
NAME READY STATUS RESTARTS AGE IP NODE NOMINATED NODE READINESS GATES example-5bdc5699b7-54v7g 1/1 Running 0 7s 10.1.18.2 10.1.0.167 <none> <none> example-5bdc5699b7-6dzx5 1/1 Running 0 7s 10.1.18.216 10.1.0.186 <none> <none> example-5bdc5699b7-gq7xs 1/1 Running 0 7s 10.1.16.63 10.1.0.144 <none> <none> example-5bdc5699b7-h9rvb 1/1 Running 0 7s 10.1.16.125 10.1.0.167 <none> <none> example-5bdc5699b7-s9fts 1/1 Running 0 7s 10.1.16.89 10.1.0.144 <none> <none> example-5bdc5699b7-swq6q 1/1 Running 0 7s 10.1.17.111 10.1.0.167 <none> <none>
这里Pod的IP都是Sub-ENI，挂载在节点的ENI上（扩展网卡）。
例如10.1.0.167节点对应的扩展网卡IP地址为10.1.17.172。在弹性网卡控制台上查看IP地址为10.1.17.172的扩展网卡上挂载了3个Sub-ENI，均为该节点上运行的Pod IP。
图3 Pod网卡
- 登录同一VPC内的云服务器，从集群外直接访问Pod的IP，本示例中为10.1.18.2。
curl 10.1.18.2回显如下，说明可正常访问工作负载应用：
<!DOCTYPE html> <html> <head> <title>Welcome to nginx!</title> <style> body { width: 35em; margin: 0 auto; font-family: Tahoma, Verdana, Arial, sans-serif; } </style> </head> <body> <h1>Welcome to nginx!</h1> <p>If you see this page, the nginx web server is successfully installed and working. Further configuration is required.</p> <p>For online documentation and support please refer to <a href="http://nginx.org/">nginx.org</a>.<br/> Commercial support is available at <a href="http://nginx.com/">nginx.com</a>.</p> <p><em>Thank you for using nginx.</em></p> </body> </html>
更多说明
CCE Turbo集群容器网卡预热策略说明
云原生网络2.0下的BMS节点和ECS节点分别使用的是弹性网卡和辅助弹性网卡，分配策略如下：
- Pod的IP地址从配置给容器网络的VPC子网上直接分配。
- ECS节点添加到集群中，先绑定用于承载辅助弹性网卡的弹性网卡，待弹性网卡绑定完成后，即可绑定辅助弹性网卡。
- ECS节点上绑定的弹性网卡数：v1.19.16-r40、v1.21.11-r0、v1.23.9-r0、v1.25.4-r0、v1.27.1-r0及以上版本的集群中该值为1；上述版本以下的集群中该值为节点最多可绑定的辅助弹性网卡数/64，向上取整。
- ECS节点上绑定的总网卡数：用于承载辅助弹性网卡的弹性网卡数+当前Pod使用的辅助弹性网卡数+预热的辅助弹性网卡数。
- BMS节点上绑定的网卡数：当前Pod使用的弹性网卡数+预热的弹性网卡数。
- Pod创建时，优先从节点的预热网卡池中随机分配一个可用的网卡。
- Pod删除时，网卡释放回节点的预热网卡池。
- 节点删除时，将释放节点上所有已绑定的网卡（弹性网卡释放回集群预申请的网卡池，辅助弹性网卡直接删除）。
云原生2.0网络目前支持以下网卡预热策略：节点容器网卡动态预热策略和节点绑定容器网卡数总量高低水位策略（废弃中）。使用场景如下表所示：
|
容器网卡预热策略 |
节点容器网卡动态预热策略（默认策略） |
节点绑定容器网卡数总量高低水位策略（废弃中） |
|---|---|---|
|
管理策略 |
节点最少绑定容器网卡数（nic-minimum-target）：保障节点最少有多少张容器网卡绑定在节点上（预热未被Pod使用+已被Pod使用） 节点预热容器网卡上限检查值（nic-maximum-target）：当节点绑定的容器网卡数超过该值，不再主动预热容器网卡 节点动态预热容器网卡数（nic-warm-target）：保障节点至少预热的容器网卡数 节点预热容器网卡回收阈值(nic-max-above-warm-target)：只有当 节点上空闲的容器网卡数 - 节点动态预热容器网卡数(nic-warm-target) 大于此阈值时，才会触发预热容器网卡的解绑回收 |
节点绑定容器网卡数低水位：保障节点至少会绑定多少张网卡（未被Pod使用+已被Pod使用） 节点绑定容器网卡数高水位：保障节点至多会绑定多少张网卡，超过该值会尝试解绑未被使用的空闲网卡 |
|
适用场景 |
在尽可能提高IP资源利用率的前提下，尽可能加快Pod的启动速度，适用于容器网段IP地址数紧张的场景 通过合理配置上述四个参数，可适用于各种业务场景，详情请参见CCE Turbo配置容器网卡动态预热。 |
适用于容器网段IP地址数充足，且节点上Pod数变化剧烈，但固定在某个范围的场景 |
- 1.19.16-r2、1.21.5-r0、1.23.3-r0到1.19.16-r4、1.21.7-r0、1.23.5-r0之间的集群版本只支持nic-minimum-target和nic-warm-target两个容器网卡动态预热参数配置，绑定网卡数总量高低水位配置优先级高于容器网卡动态预热配置。
- 1.19.16-r4、1.21.7-r0、1.23.5-r0、1.25.1-r0及以上集群版本支持全部四个容器网卡动态预热参数配置，容器网卡动态预热配置优先级高于绑定网卡数总量高低水位配置。
针对节点容器网卡动态预热策略，CCE提供了四个参数配置，您可以根据业务规划，集群规模以及节点上可绑定的网卡数，合理设置这四个参数。
|
容器网卡动态预热参数 |
默认值 |
参数说明 |
配置建议 |
|---|---|---|---|
|
节点最少绑定容器网卡数(nic-minimum-target) |
10 |
保障节点最少有多少张容器网卡绑定在节点上，支持数值跟百分比两种配置方式。
建议nic-minimum-target与nic-maximum-target为同类型的配置方式（同采用数值配置或同采用百分比配置）。 |
建议配置为大部分节点平时日常运行的Pod数。 |
|
节点预热容器网卡上限检查值(nic-maximum-target) |
0 |
当节点绑定的容器网卡数超过节点预热容器网卡上限检查值(nic-maximum-target)，不再主动预热容器网卡。 当该参数大于等于节点最少绑定容器网卡数(nic-minimum-target)时，则开启预热容器网卡上限值检查；反之，则关闭预热容器网卡上限值检查。支持数值跟百分比两种配置方式。
建议nic-minimum-target与nic-maximum-target为同类型的配置方式（同采用数值配置或同采用百分比配置）。 |
建议配置为大部分节点平时最多运行的Pod数。 |
|
节点动态预热容器网卡数(nic-warm-target) |
2 |
保障节点至少预热的容器网卡数，只支持数值配置。 当 节点动态预热容器网卡数(nic-warm-target) + 节点当前绑定的容器网卡数 大于 节点预热容器网卡上限检查值(nic-maximum-target) 时，只会预热nic-maximum-target与节点当前绑定的容器网卡数的差值。 |
建议配置为大部分节点日常10s内会瞬时弹性扩容的Pod数。 |
|
节点预热容器网卡回收阈值(nic-max-above-warm-target) |
2 |
只有当 节点上空闲的容器网卡数 - 节点动态预热容器网卡数(nic-warm-target) 大于此阈值 时，才会触发预热容器网卡的解绑回收。只支持数值配置。
|
建议配置为大部分节点日常在分钟级时间范围内会频繁弹性扩容缩容的Pod数 - 大部分节点日常10s内会瞬时弹性扩容的Pod数。 |
上述容器网卡动态预热参数支持集群级别的全局配置和节点池级别的差异化配置，其中节点池级别的容器网卡动态预热配置优先级高于集群级别的容器网卡动态预热配置。
- 需要绑定的预热容器网卡数 = min(nic-maximum-target - 当前绑定的容器网卡总数，max(nic-minimum-target - 当前绑定的容器网卡总数，nic-warm-target - 当前空闲的容器网卡数))
- 需要解绑的空闲容器网卡数 = min(当前空闲的容器网卡数 - nic-warm-target - nic-max-above-warm-target，当前绑定的容器网卡总数 - nic-minimum-target)
- 当前预热的容器网卡数区间最小值 = min(max(nic-minimum-target - 当前绑定的容器网卡总数，nic-warm-target), nic-maximum-target - 当前绑定的容器网卡总数)
- 当前预热的容器网卡数区间最大值 = max(nic-warm-target + nic-max-above-warm-target, 当前绑定的容器网卡总数 - nic-minimum-target)
Pod创建时，优先从节点的预热容器网卡池中顺序分配（最早未被使用的）一张空闲的容器网卡，如没有可用的空闲网卡，会新创建一张网卡（辅助弹性网卡）或 新绑定一张网卡（弹性网卡）以分配给该Pod。
Pod删除时，对应的容器网卡先释放回节点的预热容器网卡池，2分钟冷却时间内可供下一个Pod循环使用，超过2分钟冷却时间后且节点预热容器网卡池计算出需要释放该容器网卡，才会释放该容器网卡。
针对总量高低水位算法，CCE提供了一个配置参数，您可以根据业务规划，集群规模以及节点上可绑定的网卡数，合理设置这个参数：
- 节点绑定容器网卡数低水位：默认为0，保障节点至少会绑定多少张网卡（未被Pod使用+已被Pod使用）。ECS节点预绑定低水位网卡数=节点绑定网卡数低水位*节点总辅助弹性网卡数；BMS节点预绑定低水位网卡数=节点绑定网卡数低水位*节点总弹性网卡数。
- 节点绑定容器网卡数高水位：默认为0，保障节点至多会绑定多少张网卡，超过该值会尝试解绑未被使用的空闲网卡。ECS节点预绑定高水位网卡数=节点绑定网卡数高水位*节点总辅助弹性网卡数；BMS节点预绑定高水位网卡数=节点绑定网卡数高水位*节点总弹性网卡数。
容器网络组件会为每个节点维护一个可弹性伸缩的容器网卡池：
- 当已绑定容器网卡数量（Pod使用的容器网卡数+预绑定的容器网卡数）< 预绑定低水位容器网卡数时，会绑定网卡直到节点上已绑定容器网卡数量（Pod使用的容器网卡数+预绑定的容器网卡数）=预绑定低水位容器网卡数。
- 当已绑定容器网卡数量（Pod使用的容器网卡数+预绑定的容器网卡数）> 预绑定高水位容器网卡数，且 节点预绑定的容器网卡数>0 时，会定时释放预绑定的容器网卡（超过2分钟未被使用的空闲网卡），直到Pod使用的容器网卡数+预绑定的容器网卡数=节点预绑定高水位容器网卡数 或 Pod使用的容器网卡数 > 节点预绑定高水位容器网卡数 且 节点预绑定的容器网卡数=0。
CCE Turbo集群Pod批量创建性能说明
CCE Turbo集群的Pod容器网卡申请自VPC的弹性网卡或者辅助弹性网卡，目前Pod与网卡（弹性网卡或辅助弹性网卡）的关联操作发生在Pod调度完成之后，Pod创建的速度受网卡创建与绑定速度的影响，具体限制如下表所示。
|
节点类型 |
网卡类型 |
可支持的最大网卡数 |
网卡绑定到节点上的操作 |
网卡可用耗时 |
并发控制 |
节点上的容器网卡默认预热配置 |
|---|---|---|---|---|---|---|
|
ECS节点 |
辅助弹性网卡 |
256 |
指定该节点的弹性网卡创建辅助弹性网卡 |
1s以内 |
租户级别：600/分钟 |
1.19.16-r2、1.21.5-r0、1.23.3-r0之前的集群版本：容器网卡不预热 1.19.16-r2、1.21.5-r0、1.23.3-r0到1.19.16-r4、1.21.7-r0、1.23.5-r0之间的集群版本：容器网卡动态预热（nic-minimum-target=10；nic-warm-target=2） 1.19.16-r4、1.21.7-r0、1.23.5-r0、1.25.1-r0及以上集群版本：容器网卡动态预热（nic-minimum-target=10；nic-maximum-target=0；nic-warm-target=2；nic-max-above-warm-target=2） |
|
BMS节点 |
弹性网卡 |
128 |
节点绑定弹性网卡 |
20s-30s |
节点级别：3并发 |
1.19.16-r4、1.21.7-r0、1.23.5-r0之前的集群版本：容器网卡总数高低水位预热（nic-threshold=0.3:0.6） 1.19.16-r4、1.21.7-r0、1.23.5-r0、1.25.1-r0、1.28.1-r0及以上集群版本：容器网卡动态预热（nic-minimum-target=10；nic-maximum-target=0；nic-warm-target=2；nic-max-above-warm-target=2） |
ECS节点创建Pod说明（采用辅助弹性网卡）
- 当Pod调度的节点上没有可用的已经预热的容器网卡时，会调用辅助弹性网卡的创建API，在该节点的一个弹性网卡上创建一个辅助弹性网卡；并把该辅助弹性网卡分配给该Pod。
- 当Pod调度的节点上有可用的已经预热的容器网卡时，会选择创建时间最长且未使用的一张辅助弹性网卡分配给该Pod。
- 受限于辅助弹性网卡的租户并发创建速度，容器网卡不预热的场景下，每分钟最多创建成功600个Pod；如果有更高的弹性要求，可根据业务场景合理配置容器网卡动态预热参数。
BMS节点创建Pod说明（采用弹性网卡）
- 当Pod调度的节点上没有可用的已经预热的容器网卡时，会调用节点绑定网卡的API，在该节点上绑定一个弹性网卡；并把该弹性网卡分配给该Pod。目前BMS节点绑定一张弹性网卡直至完全可用大约耗时在20s到30s不等。
- 当Pod调度的节点上有可用的已经预热的容器网卡时，会选择创建时间最长且未使用的一张弹性网卡分配给该Pod。
- 受限于BMS节点绑定弹性网卡的速度，容器网卡不预热的场景下，同一节点的Pod启动速度为：3个/20秒；所以针对BMS节点，强烈建议用户配置容器网卡全预热。
相关文档
- 有关不同网络模型集群中节点可创建的最大Pod数量的详细信息，请参见节点可创建的最大Pod数量说明。
- 关于集群网段的详细规划建议，请参见集群网络地址段规划实践。
