# 云原生网络2.0模型说明 #### 云原生网络2.0模型 云原生网络2.0是自研的新一代容器网络模型，深度整合了虚拟私有云VPC的弹性网卡（Elastic Network Interface，简称ENI）和辅助弹性网卡（Sub Network Interface，简称Sub-ENI）的能力，将Pod直接绑定弹性网卡或辅助弹性网卡，使每个Pod在VPC内均拥有独立的IP地址，且支持ELB直通容器、Pod绑定安全组、Pod绑定弹性公网IP等特性。由于不需要使用容器隧道封装和NAT地址转换，云原生网络2.0模型与容器隧道网络模型和VPC网络模型相比具有更高的网络性能。 图1云原生网络2.0 ![](https://support.huaweicloud.com/usermanual-cce/zh-cn_image_0000001199181336.png "点击放大") 在云原生网络2.0模型的集群中，Pod依赖弹性网卡（ENI）/辅助弹性网卡（Sub-ENI）对外进行网络通信： - 裸金属节点BMS上运行的Pod：使用弹性网卡对外进行网络通信。 - ECS节点上运行的Pod：使用辅助弹性网卡对外进行网络通信，辅助弹性网卡通过VLAN子接口挂载在ECS的弹性网卡上。 - Pod数量上限：由于需要为每个Pod绑定网卡，节点上可运行的Pod数量上限由该节点的能绑定的网卡个数和网卡端口数决定。 - 通信方式：节点内Pod间通信、跨节点Pod间通信、Pod访问集群外网络的情况均直接通过VPC的弹性网卡/弹性辅助网卡进行流量转发。 #### 约束与限制 仅CCE Turbo集群支持使用云原生网络2.0模型。 #### 优缺点 **优点** - 基于VPC构建容器网络，每个Pod具有独立的网卡及IP地址，易于排查网络问题，且具有最高的性能表现。 - 在同一个VPC内，由于Pod直接绑定VPC网卡，集群外部的资源可以与集群内部的容器直接进行网络通信。 ![](https://support.huaweicloud.com/usermanual-cce/public_sys-resources/note_3.0-zh-cn.png) 同理，如果该VPC和其他VPC或数据中心网络环境连通，在网段不冲突的情况下，其他VPC或数据中心所属的资源也可以与集群内部的容器直接进行网络通信。 - Pod可直接使用VPC提供的负载均衡、安全组、弹性公网IP等能力。 **缺点** 由于容器网络基于VPC构建，每个Pod都会从VPC网段内分配IP地址，消耗VPC的地址空间，创建集群前需要合理规划好容器网段。 #### 适用场景 - 性能要求高：由于云原生网络2.0直接使用VPC网络构建容器网络，容器通信不需要进行隧道封装和NAT转换，所以适用于对带宽、时延要求极高的业务场景，比如：线上直播、电商抢购等。 - 大规模组网：云原生网络2.0当前默认可支持2000个节点（最大支持20000节点），10万个Pod。 #### 网段规划建议 在[集群网络构成](https://support.huaweicloud.com/usermanual-cce/cce_10_0010.html#cce_10_0010__section1131733719195)中介绍集群中网络地址可分为集群网络、容器网络、服务网络三块，在规划网络地址时需要从如下方面考虑： - 集群所在VPC下所有子网（包括扩展网段子网）不能和服务网段冲突。 - 保证**每个网段有足够的IP地址可用** 。 - 集群网段的IP地址要与集群规模相匹配，否则会因为IP地址不足导致无法创建节点。 - 容器网段的IP地址要与业务规模相匹配，否则会因为IP地址不足导致无法创建Pod。 云原生网络2.0模型下，由于容器网段与节点网段共同使用VPC下的网络地址，建议容器子网与节点子网不要使用同一个子网，否则容易出现IP资源不足导致容器或节点创建失败的情况。 另外云原生网络2.0模型下容器网段支持在创建集群后增加子网，扩展可用IP数量，此时需要注意增加的子网不要与容器网段其他子网存在网络冲突。 #### 云原生网络2.0访问示例 本示例中，已创建一个CCE Turbo集群，且集群中包含3个ECS节点。 在ECS控制台中查看其中一个节点的基本信息，在网卡信息中可以看到节点上绑定了一个主网卡和扩展网卡，这两个网卡都属于弹性网卡，其中扩展网卡的IP地址属于容器网络网段，用于给Pod挂载辅助弹性网卡Sub-ENI。 图2节点网卡 ![](https://support.huaweicloud.com/usermanual-cce/zh-cn_image_0000002381650009.png "点击放大") 在云原生网络2.0集群中创建工作负载的访问示例如下。 1. 使用kubectl命令行工具连接集群，详情请参见[通过kubectl连接集群](https://support.huaweicloud.com/usermanual-cce/cce_10_0107.html)。 2. 在集群中创建一个Deployment。 创建deployment.yaml文件，文件内容示例如下： ``` kind: Deployment apiVersion: apps/v1 metadata: name: example namespace: default spec: replicas: 6 selector: matchLabels: app: example template: metadata: labels: app: example spec: containers: - name: container-0 image: 'nginx:perl' resources: limits: cpu: 250m memory: 512Mi requests: cpu: 250m memory: 512Mi imagePullSecrets: - name: default-secret ``` 创建该工作负载： ``` kubectl apply -f deployment.yaml ``` 3. 查看已运行的Pod。 ``` kubectl get pod -owide ``` 回显如下： ``` NAME READY STATUS RESTARTS AGE IP NODE NOMINATED NODE READINESS GATES example-5bdc5699b7-54v7g 1/1 Running 0 7s 10.1.18.2 10.1.0.167 example-5bdc5699b7-6dzx5 1/1 Running 0 7s 10.1.18.216 10.1.0.186 example-5bdc5699b7-gq7xs 1/1 Running 0 7s 10.1.16.63 10.1.0.144 example-5bdc5699b7-h9rvb 1/1 Running 0 7s 10.1.16.125 10.1.0.167 example-5bdc5699b7-s9fts 1/1 Running 0 7s 10.1.16.89 10.1.0.144 example-5bdc5699b7-swq6q 1/1 Running 0 7s 10.1.17.111 10.1.0.167 ``` 这里Pod的IP都是Sub-ENI，挂载在节点的ENI上（扩展网卡）。 例如10.1.0.167节点对应的扩展网卡IP地址为10.1.17.172。在弹性网卡控制台上查看IP地址为10.1.17.172的扩展网卡上挂载了3个Sub-ENI，均为该节点上运行的Pod IP。 图3Pod网卡 ![](https://support.huaweicloud.com/usermanual-cce/zh-cn_image_0000002381771897.png "点击放大") 4. 登录同一VPC内的云服务器，从集群外直接访问Pod的IP，本示例中为*10.1.18.2* 。 ``` curl 10.1.18.2 ``` 回显如下，说明可正常访问工作负载应用： ``` Welcome to nginx!

Welcome to nginx!

If you see this page, the nginx web server is successfully installed and working. Further configuration is required.

For online documentation and support please refer to nginx.org.
Commercial support is available at nginx.com.

Thank you for using nginx.

``` #### 更多说明 关于云原生网络2.0模型，您可能还需要了解以下内容。 #### CCE Turbo集群容器网卡预热策略说明 在云原生网络2.0下，每个Pod都会分配（申请并绑定）一张弹性网卡或辅助弹性网卡（统一称为：容器网卡）。由于容器场景下Pod的极速弹性与慢速的容器网卡创建绑定的差异，严重影响了大规模批创场景下的容器启动速度。因此，云原生网络2.0提供了容器网卡动态预热的能力，通过在节点上预创建、预配置就绪状态的弹性网卡（ENI）/辅助弹性网卡（Sub-ENI）并构建预热容器网卡池，让Pod启动时直接从池中取用网卡资源，在尽可能提高IP的资源利用率的前提下，尽可能加快Pod的启动速度。 CCE Turbo集群的容器网卡预热策略如下： 1. **添加节点，绑定并预热节点网卡** 网卡预热策略按节点类型差异化分配预热资源： - **ECS节点** ：ECS节点上的Pod使用Sub-ENI，而Sub-ENI需挂载在ENI之下，因此预热规则如下： ECS节点添加到集群后，先绑定用于承载Sub-ENI的ENI，待ENI绑定完成后，即可绑定Sub-ENI提供给Pod使用，这些Sub-ENI除了直接提供当前Pod使用，还会预创建一定数量的Sub-ENI构建预热容器网卡池。 因此ECS节点上绑定的总网卡数：**用于承载Sub-ENI的ENI数+当前Pod使用的Sub-ENI数+预热的Sub-ENI数** 。其中**用于承载Sub-ENI的ENI数** 在v1.19.16-r40、v1.21.11-r0、v1.23.9-r0、v1.25.4-r0、v1.27.1-r0及以上版本的集群中取值为1；而上述版本以下的集群中取值为*节点最多可绑定的Sub-ENI数/64*，向上取整，节点最多可绑定的Sub-ENI数由ECS规格确定。 - **BMS节点** ：BMS上的Pod使用ENI，无需使用Sub-ENI，同时会预创建一定数量的ENI构建预热容器网卡池。因此BMS节点上绑定的网卡数：**当前Pod使用的ENI数+预热的ENI数**。 2. **预热节点网卡：** 支持**节点容器网卡动态预热策略** 和**节点绑定容器网卡数总量高低水位策略（废弃中）** 表1容器网卡预热策略对比表 | 容器网卡预热策略 | 节点容器网卡动态预热策略（默认策略） | 节点绑定容器网卡数总量高低水位策略（废弃中） | |:---|:---|:---| | 管理策略 | 节点最少绑定容器网卡数（nic-minimum-target）：保障节点最少有多少张容器网卡绑定在节点上（预热未被Pod使用+已被Pod使用） 节点预热容器网卡上限检查值（nic-maximum-target）：当节点绑定的容器网卡数超过该值，不再主动预热容器网卡 节点动态预热容器网卡数（nic-warm-target）：保障节点至少预热的容器网卡数 节点预热容器网卡回收阈值(nic-max-above-warm-target)：只有当 节点上空闲的容器网卡数 - 节点动态预热容器网卡数(nic-warm-target) 大于此阈值时，才会触发预热容器网卡的解绑回收 | 节点绑定容器网卡数低水位：保障节点至少会绑定多少张网卡（未被Pod使用+已被Pod使用） 节点绑定容器网卡数高水位：保障节点至多会绑定多少张网卡，超过该值会尝试解绑未被使用的空闲网卡 | | 适用场景 | 在尽可能提高IP资源利用率的前提下，尽可能加快Pod的启动速度，适用于容器网段IP地址数紧张的场景 通过合理配置上述四个参数，可适用于各种业务场景，详情请参见[CCE Turbo配置容器网卡动态预热](https://support.huaweicloud.com/bestpractice-cce/cce_bestpractice_10010.html)。 | 适用于容器网段IP地址数充足，且节点上Pod数变化剧烈，但固定在某个范围的场景 | 节点容器网卡动态预热策略详情 - 针对节点容器网卡动态预热策略，CCE提供了四个参数配置，您可以根据业务规划，集群规模以及节点上可绑定的网卡数，合理设置这四个参数，参见[图4]。 图4节点容器网卡动态预热策略 ![](https://support.huaweicloud.com/usermanual-cce/zh-cn_image_0000002391974924.png "点击放大") 表2容器网卡动态预热参数 | 容器网卡动态预热参数 | 默认值 | 参数说明 | 配置建议 | |:---|:---|:---|:---| | 节点最少绑定容器网卡数(nic-minimum-target) | 10 | 保障节点最少有多少张容器网卡绑定在节点上，支持数值跟百分比两种配置方式。 - 数值配置：参数值需为0到65535的整数。例如10，表示节点最少有10张容器网卡绑定在节点上。当超过节点的容器网卡配额时，后台取值为节点的容器网卡配额。 - 百分比配置：参数值范围为1%-100%。例如10%，如果节点容器网卡配额128，表示节点最少有12张（向下取整）容器网卡绑定在节点上。 建议nic-minimum-target与nic-maximum-target为同类型的配置方式（同采用数值配置或同采用百分比配置）。 | 建议配置为大部分节点平时日常运行的Pod数。 | | 节点预热容器网卡上限检查值(nic-maximum-target) | 0 | 当节点绑定的容器网卡数超过节点预热容器网卡上限检查值(nic-maximum-target)，不再主动预热容器网卡。 当该参数大于等于节点最少绑定容器网卡数(nic-minimum-target)时，则开启预热容器网卡上限值检查；反之，则关闭预热容器网卡上限值检查。支持数值跟百分比两种配置方式。 - 数值配置：参数值需为0到65535的整数，0表示关闭预热容器网卡上限值检查。当超过节点的容器网卡配额时，后台取值为节点的容器网卡配额。 - 百分比配置：参数值范围为1%-100%。例如50%，如果节点容器网卡配额128，表示节点预热容器网卡上限检查值64（向下取整）。 建议nic-minimum-target与nic-maximum-target为同类型的配置方式（同采用数值配置或同采用百分比配置）。 | 建议配置为大部分节点平时最多运行的Pod数。 | | 节点动态预热容器网卡数(nic-warm-target) | 2 | 表示节点网络接口（NIC）预热的目标值，即在节点启动时预先分配的网络接口数量。 当"节点动态预热容器网卡数(nic-warm-target) + 节点当前绑定的容器网卡数"大于节点预热容器网卡上限检查值(nic-maximum-target) 时，系统只会预热nic-maximum-target与节点当前绑定的容器网卡数的差值。 | 建议配置为大部分节点日常10s内会瞬时弹性扩容的Pod数。 | | 节点预热容器网卡回收阈值(nic-max-above-warm-target) | 2 | 只有当"节点上空闲的容器网卡数 - 节点动态预热容器网卡数(nic-warm-target) "大于此阈值时，将会触发预热容器网卡的解绑回收。只支持数值配置。 - 调大此值会减慢空闲容器网卡的回收，加快Pod的启动速度，但会降低IP地址的利用率，特别是在IP地址紧张的场景，**请谨慎调大**。 - 调小此值会加快空闲容器网卡的回收，提高IP地址的利用率，但在瞬时大量Pod激增的场景，部分Pod启动会稍微变慢。 | 建议配置为大部分节点日常在分钟级时间范围内会频繁弹性扩容缩容的Pod数 - 大部分节点日常10s内会瞬时弹性扩容的Pod数。 | ![](https://support.huaweicloud.com/usermanual-cce/public_sys-resources/note_3.0-zh-cn.png) - 1.19.16-r2、1.21.5-r0、1.23.3-r0到1.19.16-r4、1.21.7-r0、1.23.5-r0之间的集群版本只支持nic-minimum-target和nic-warm-target两个容器网卡动态预热参数配置，绑定网卡数总量高低水位配置优先级高于容器网卡动态预热配置。 - 1.19.16-r4、1.21.7-r0、1.23.5-r0、1.25.1-r0及以上集群版本支持全部四个容器网卡动态预热参数配置，容器网卡动态预热配置优先级高于绑定网卡数总量高低水位配置。 - 上述容器网卡动态预热参数支持集群级别的全局配置和节点池级别的差异化配置，其中节点池级别的容器网卡动态预热配置优先级高于集群级别的容器网卡动态预热配置。 - 容器网络组件会为每个节点维护一个可弹性伸缩的预热容器网卡池 ，定时（约10s一次）检测并计算**需要绑定的预热容器网卡数** 或**需要解绑的空闲容器网卡数** ： - **需要绑定的预热容器网卡数 = min(nic-maximum-target - 当前绑定的容器网卡总数，max(nic-minimum-target - 当前绑定的容器网卡总数，nic-warm-target - 当前空闲的容器网卡数))** - **需要解绑的空闲容器网卡数 = min(当前空闲的容器网卡数 - nic-warm-target - nic-max-above-warm-target，当前绑定的容器网卡总数 - nic-minimum-target)** - 节点上当前预热的容器网卡数稳态后会维持在以下区间内： - **当前预热的容器网卡数区间最小值 = min(max(nic-minimum-target - 当前绑定的容器网卡总数，nic-warm-target), nic-maximum-target - 当前绑定的容器网卡总数)** - **当前预热的容器网卡数区间最大值 = max(nic-warm-target + nic-max-above-warm-target, 当前绑定的容器网卡总数 - nic-minimum-target)** 节点绑定容器网卡数总量高低水位策略详情 - 针对总量高低水位算法，CCE提供了一个配置参数，您可以根据业务规划，集群规模以及节点上可绑定的网卡数，合理设置这个参数： - 节点绑定容器网卡数低水位：默认为0，保障节点至少会绑定多少张网卡（未被Pod使用+已被Pod使用）。ECS节点预绑定低水位网卡数=节点绑定网卡数低水位\*节点总辅助弹性网卡数；BMS节点预绑定低水位网卡数=节点绑定网卡数低水位\*节点总弹性网卡数。 - 节点绑定容器网卡数高水位：默认为0，保障节点至多会绑定多少张网卡，超过该值会尝试解绑未被使用的空闲网卡。ECS节点预绑定高水位网卡数=节点绑定网卡数高水位\*节点总辅助弹性网卡数；BMS节点预绑定高水位网卡数=节点绑定网卡数高水位\*节点总弹性网卡数。 图5节点绑定容器网卡数总量高低水位策略 ![](https://support.huaweicloud.com/usermanual-cce/zh-cn_image_0000002425414933.png "点击放大") - 容器网络组件会为每个节点维护一个可弹性伸缩的预热容器网卡池： - 当**已绑定容器网卡数量（Pod使用的容器网卡数+预绑定的容器网卡数）\< 预绑定低水位容器网卡数** 时，会绑定网卡直到节点上**已绑定容器网卡数量（Pod使用的容器网卡数+预绑定的容器网卡数）=预绑定低水位容器网卡数**。 - 当**已绑定容器网卡数量（Pod使用的容器网卡数+预绑定的容器网卡数）\> 预绑定高水位容器网卡数** ，且**节点预绑定的容器网卡数\>0** 时，会定时释放预绑定的容器网卡（超过2分钟未被使用的空闲网卡），直到**Pod使用的容器网卡数+预绑定的容器网卡数=节点预绑定高水位容器网卡数** 或 **Pod使用的容器网卡数 \> 节点预绑定高水位容器网卡数** 且**节点预绑定的容器网卡数=0。** 3. **创建Pod，分配容器网卡** Pod创建时，优先从节点的预热容器网卡池中顺序分配（最早未被使用的）一张空闲的容器网卡，如没有可用的空闲网卡，会新创建一张网卡（辅助弹性网卡）或 新绑定一张网卡（弹性网卡）以分配给该Pod。 4. **删除Pod，释放容器网卡** - Pod删除时，对应的容器网卡先释放回节点的预热容器网卡池，2分钟冷却时间内可供下一个Pod循环使用，超过2分钟冷却时间后且节点预热容器网卡池计算出需要释放该容器网卡，才会释放该容器网卡。 - 节点删除时，将释放节点上所有已绑定的网卡（弹性网卡释放回集群预申请的网卡池，辅助弹性网卡直接删除）。 #### CCE Turbo集群Pod批量创建性能说明 CCE Turbo集群的Pod容器网卡申请自VPC的弹性网卡或者辅助弹性网卡，目前Pod与网卡（弹性网卡或辅助弹性网卡）的关联操作发生在Pod调度完成之后，Pod创建的速度受网卡创建与绑定速度的影响，具体限制如下表所示。 表3容器网卡创建耗时 | 节点类型 | 网卡类型 | 可支持的最大网卡数 | 网卡绑定到节点上的操作 | 网卡可用耗时 | 并发控制 | 节点上的容器网卡默认预热配置 | |:---|:---|:---|:---|:---|:---|:---| | ECS节点 | 辅助弹性网卡 | 256 | 指定该节点的弹性网卡创建辅助弹性网卡 | 1s以内 | 租户级别：600/分钟 | 1.19.16-r2、1.21.5-r0、1.23.3-r0之前的集群版本：容器网卡不预热 1.19.16-r2、1.21.5-r0、1.23.3-r0到1.19.16-r4、1.21.7-r0、1.23.5-r0之间的集群版本：容器网卡动态预热（nic-minimum-target=10；nic-warm-target=2） 1.19.16-r4、1.21.7-r0、1.23.5-r0、1.25.1-r0及以上集群版本：容器网卡动态预热（nic-minimum-target=10；nic-maximum-target=0；nic-warm-target=2；nic-max-above-warm-target=2） | | BMS节点 | 弹性网卡 | 128 | 节点绑定弹性网卡 | 20s-30s | 节点级别：3并发 | 1.19.16-r4、1.21.7-r0、1.23.5-r0之前的集群版本：容器网卡总数高低水位预热（nic-threshold=0.3:0.6） 1.19.16-r4、1.21.7-r0、1.23.5-r0、1.25.1-r0、1.28.1-r0及以上集群版本：容器网卡动态预热（nic-minimum-target=10；nic-maximum-target=0；nic-warm-target=2；nic-max-above-warm-target=2） | ![](https://support.huaweicloud.com/usermanual-cce/public_sys-resources/note_3.0-zh-cn.png) 容器网卡预热会提前消耗容器子网的IP地址，进而影响集群可运行的Pod数规模，请根据业务规模合理规划配置容器网卡动态预热参数，详情请参见[CCE Turbo配置容器网卡动态预热](https://support.huaweicloud.com/bestpractice-cce/cce_bestpractice_10010.html)。 **ECS节点创建Pod说明（采用辅助弹性网卡）** - 当Pod调度的节点上没有可用的已经预热的容器网卡时，会调用辅助弹性网卡的创建API，在该节点的一个弹性网卡上创建一个辅助弹性网卡；并把该辅助弹性网卡分配给该Pod。 - 当Pod调度的节点上有可用的已经预热的容器网卡时，会选择创建时间最长且未使用的一张辅助弹性网卡分配给该Pod。 - 受限于辅助弹性网卡的租户并发创建速度，容器网卡不预热的场景下，每分钟最多创建成功600个Pod；如果有更高的弹性要求，可根据业务场景合理配置容器网卡动态预热参数。 **BMS节点创建Pod说明（采用弹性网卡）** - 当Pod调度的节点上没有可用的已经预热的容器网卡时，会调用节点绑定网卡的API，在该节点上绑定一个弹性网卡；并把该弹性网卡分配给该Pod。目前BMS节点绑定一张弹性网卡直至完全可用大约耗时在20s到30s不等。 - 当Pod调度的节点上有可用的已经预热的容器网卡时，会选择创建时间最长且未使用的一张弹性网卡分配给该Pod。 - 受限于BMS节点绑定弹性网卡的速度，容器网卡不预热的场景下，同一节点的Pod启动速度为：3个/20秒；所以针对BMS节点，强烈建议用户配置容器网卡全预热。 #### 相关文档 - 有关不同网络模型集群中节点可创建的最大Pod数量的详细信息，请参见[节点可创建的最大Pod数量说明](https://support.huaweicloud.com/usermanual-cce/cce_10_0348.html)。 - 关于集群网段的详细规划建议，请参见[集群网络地址段规划实践](https://support.huaweicloud.com/bestpractice-cce/cce_bestpractice_00004.html)。