云原生网络2.0

云原生网络2.0网络模型

云原生网络2.0是自研的新一代容器网络模型，深度整合了虚拟私有云VPC的弹性网卡（Elastic Network Interface，简称ENI）和辅助弹性网卡（Sub Network Interface，简称Sub-ENI）的能力，直接从VPC网段内分配容器IP地址，支持ELB直通容器，绑定安全组，绑定弹性公网IP，享有高性能。

图1 云原生网络2.0

说明如下：

• 裸金属节点上Pod使用ENI网卡；ECS节点上Pod使用Sub-ENI网卡，Sub-ENI网卡通过VLAN子接口挂载在ENI上。
• 节点内Pod间通信：直接通过VPC的弹性网卡/弹性辅助网卡进行流量转发。
• 跨节点Pod间通信：直接通过VPC的弹性网卡/弹性辅助网卡进行流量转发。

约束与限制

仅CCE Turbo集群支持使用云原生网络2.0。

优缺点

优点

• 容器网络直接使用的VPC，网络问题易排查、性能最高。
• 支持VPC内的外部网络与容器IP直通。
• Pod可直接利用VPC提供的负载均衡、安全组、弹性公网IP等能力。

缺点

由于容器网络直接使用的VPC，消耗VPC的地址空间，创建集群前需要合理规划好容器网段。

适用场景

• 性能要求高，需要使用VPC其他网络能力的场景：由于云原生网络2.0直接使用的VPC网络，性能与VPC网络的性能几乎一致，所以适用于对带宽、时延要求极高的业务场景，比如：线上直播、电商抢购等。
• 大规模组网：云原生网络2.0当前最大可支持2000个ECS节点，10万个容器。

容器IP地址管理

云原生网络2.0下的BMS节点和ECS节点分别使用的是弹性网卡和辅助弹性网卡：

• Pod的IP地址从配置给容器网络的VPC子网上直接分配，无需为节点分配一个单独的小网段。
• ECS节点添加到集群中，先绑定用于承载辅助弹性网卡的弹性网卡，待弹性网卡绑定完成后，即可绑定辅助弹性网卡。
• ECS节点上绑定的弹性网卡数：v1.19.16-r40、v1.21.11-r0、v1.23.9-r0、v1.25.4-r0、v1.27.1-r0及以上集群版本该值为1；以下集群版本该值为节点最多可绑定的辅助弹性网卡数/64，向上取整。
• ECS节点上绑定的总网卡数：用于承载辅助弹性网卡的弹性网卡数+当前Pod使用的辅助弹性网卡数+预热的辅助弹性网卡数。
• BMS节点上绑定的网卡数：当前Pod使用的弹性网卡数+预热的弹性网卡数。
• Pod创建时，优先从节点的预热网卡池中随机分配一个可用的网卡。
• Pod删除时，网卡释放回节点的预热网卡池。
• 节点删除时，将释放节点上所有已绑定的网卡（弹性网卡释放回集群预申请的网卡池，辅助弹性网卡直接删除）。

云原生2.0网络目前支持以下网卡预热策略：节点容器网卡动态预热策略和节点绑定容器网卡数总量高低水位策略（废弃中）。使用场景如下表所示：

• 1.19.16-r2、1.21.5-r0、1.23.3-r0到1.19.16-r4、1.21.7-r0、1.23.5-r0之间的集群版本只支持nic-minimum-target和nic-warm-target两个容器网卡动态预热参数配置，绑定网卡数总量高低水位配置优先级高于容器网卡动态预热配置。
• 1.19.16-r4、1.21.7-r0、1.23.5-r0、1.25.1-r0及以上集群版本支持全部四个容器网卡动态预热参数配置，容器网卡动态预热配置优先级高于绑定网卡数总量高低水位配置。

图2 节点容器网卡动态预热策略

针对节点容器网卡动态预热策略，CCE提供了四个参数配置，您可以根据业务规划，集群规模以及节点上可绑定的网卡数，合理设置这四个参数。

上述容器网卡动态预热参数支持集群级别的全局配置和节点池级别的差异化配置，其中节点池级别的容器网卡动态预热配置优先级高于集群级别的容器网卡动态预热配置。

Pod创建时，优先从节点的预热容器网卡池中顺序分配（最早未被使用的）一张空闲的容器网卡，如没有可用的空闲网卡，会新创建一张网卡（辅助弹性网卡）或 新绑定一张网卡（弹性网卡）以分配给该Pod。

Pod删除时，对应的容器网卡先释放回节点的预热容器网卡池，2分钟冷却时间内可供下一个Pod循环使用，超过2分钟冷却时间后且节点预热容器网卡池计算出需要释放该容器网卡，才会释放该容器网卡。

图3 节点绑定容器网卡数总量高低水位策略

针对总量高低水位算法，CCE提供了一个配置参数，您可以根据业务规划，集群规模以及节点上可绑定的网卡数，合理设置这个参数：

• 节点绑定容器网卡数低水位：默认为0，保障节点至少会绑定多少张网卡（未被Pod使用+已被Pod使用）。ECS节点预绑定低水位网卡数=节点绑定网卡数低水位*节点总辅助弹性网卡数；BMS节点预绑定低水位网卡数=节点绑定网卡数低水位*节点总弹性网卡数。
• 节点绑定容器网卡数高水位：默认为0，保障节点至多会绑定多少张网卡，超过该值会尝试解绑未被使用的空闲网卡。ECS节点预绑定高水位网卡数=节点绑定网卡数高水位*节点总辅助弹性网卡数；BMS节点预绑定高水位网卡数=节点绑定网卡数高水位*节点总弹性网卡数。

容器网络组件会为每个节点维护一个可弹性伸缩的容器网卡池：

• 当已绑定容器网卡数量（Pod使用的容器网卡数+预绑定的容器网卡数）< 预绑定低水位容器网卡数时，会绑定网卡直到节点上已绑定容器网卡数量（Pod使用的容器网卡数+预绑定的容器网卡数）=预绑定低水位容器网卡数。
• 当已绑定容器网卡数量（Pod使用的容器网卡数+预绑定的容器网卡数）> 预绑定高水位容器网卡数，且 节点预绑定的容器网卡数>0 时，会定时释放预绑定的容器网卡（超过2分钟未被使用的空闲网卡），直到Pod使用的容器网卡数+预绑定的容器网卡数=节点预绑定高水位容器网卡数 或 Pod使用的容器网卡数 > 节点预绑定高水位容器网卡数 且 节点预绑定的容器网卡数=0。

网段规划建议

在集群网络构成中介绍集群中网络地址可分为节点网络、容器网络、服务网络三块，在规划网络地址时需要从如下方面考虑：

• 三个网段不能重叠，否则会导致冲突。且集群所在VPC下所有子网（包括扩展网段子网）不能和容器网段、服务网段冲突。
• 保证每个网段有足够的IP地址可用。
  • 节点网段的IP地址要与集群规模相匹配，否则会因为IP地址不足导致无法创建节点。
  • 容器网段的IP地址要与业务规模相匹配，否则会因为IP地址不足导致无法创建Pod。

云原生网络2.0模型下，由于容器网段与节点网段共同使用VPC下的网络地址，建议容器子网与节点子网不要使用同一个子网，否则容易出现IP资源不足导致容器或节点创建失败的情况。

另外云原生网络2.0模型下容器网段支持在创建集群后增加子网，扩展可用IP数量，此时需要注意增加的子网不要与容器网段其他子网存在网络冲突。

图4 网段配置（创建集群时配置）

云原生网络2.0访问示例

创建一个CCE Turbo集群，集群包含3个ECS节点。

进入其中一个节点，可以看到节点有一个主网卡和扩展网卡，这两个网卡都是弹性网卡，其中扩展网卡是属于容器网络网段，用于给Pod挂载辅助弹性网卡Sub-ENI。

图5 节点网卡

在集群中创建一个Deployment。

kind: Deployment
apiVersion: apps/v1
metadata:
  name: example
  namespace: default
spec:
  replicas: 6
  selector:
    matchLabels:
      app: example
  template:
    metadata:
      labels:
        app: example
    spec:
      containers:
        - name: container-0
          image: 'nginx:perl'
          resources:
            limits:
              cpu: 250m
              memory: 512Mi
            requests:
              cpu: 250m
              memory: 512Mi
      imagePullSecrets:
        - name: default-secret

创建后查询Pod。

$ kubectl get pod -owide
NAME                       READY   STATUS    RESTARTS   AGE   IP            NODE         NOMINATED NODE   READINESS GATES
example-5bdc5699b7-54v7g   1/1     Running   0          7s    10.1.18.2     10.1.0.167   <none>           <none>
example-5bdc5699b7-6dzx5   1/1     Running   0          7s    10.1.18.216   10.1.0.186   <none>           <none>
example-5bdc5699b7-gq7xs   1/1     Running   0          7s    10.1.16.63    10.1.0.144   <none>           <none>
example-5bdc5699b7-h9rvb   1/1     Running   0          7s    10.1.16.125   10.1.0.167   <none>           <none>
example-5bdc5699b7-s9fts   1/1     Running   0          7s    10.1.16.89    10.1.0.144   <none>           <none>
example-5bdc5699b7-swq6q   1/1     Running   0          7s    10.1.17.111   10.1.0.167   <none>           <none>

这里Pod的IP都是Sub-ENI，挂载在节点的ENI上（扩展网卡）。

例如10.1.0.167节点对应的扩展网卡是10.1.17.172。在弹性网卡控制台上可以看到10.1.17.172这块扩展网卡挂载3个Sub-ENI，正是Pod的IP。

图6 Pod网卡

在VPC中直接访问Pod的IP，能够正常访问。

CCE Turbo集群Pod批量创建性能说明

CCE Turbo集群的Pod容器网卡申请自VPC的弹性网卡或者辅助弹性网卡，目前Pod与网卡（弹性网卡或辅助弹性网卡）的关联操作发生在Pod调度完成之后，Pod创建的速度受网卡创建与绑定速度的影响，具体限制如下表所示。

容器网卡预热会提前消耗容器子网的IP地址，进而影响集群可运行的Pod数规模，请根据业务规模合理规划配置容器网卡动态预热参数，详情请参见CCE Turbo配置容器网卡动态预热。

ECS节点创建Pod说明（采用辅助弹性网卡）

• 当Pod调度的节点上没有可用的已经预热的容器网卡时，会调用辅助弹性网卡的创建API，在该节点的一个弹性网卡上创建一个辅助弹性网卡；并把该辅助弹性网卡分配给该Pod。
• 当Pod调度的节点上有可用的已经预热的容器网卡时，会选择创建时间最长且未使用的一张辅助弹性网卡分配给该Pod。
• 受限于辅助弹性网卡的租户并发创建速度，容器网卡不预热的场景下，每分钟最多创建成功600个Pod；如果有更高的弹性要求，可根据业务场景合理配置容器网卡动态预热参数。

BMS节点创建Pod说明（采用弹性网卡）

• 当Pod调度的节点上没有可用的已经预热的容器网卡时，会调用节点绑定网卡的API，在该节点上绑定一个弹性网卡；并把该弹性网卡分配给该Pod。目前BMS节点绑定一张弹性网卡直至完全可用大约耗时在20s到30s不等。
• 当Pod调度的节点上有可用的已经预热的容器网卡时，会选择创建时间最长且未使用的一张弹性网卡分配给该Pod。
• 受限于BMS节点绑定弹性网卡的速度，容器网卡不预热的场景下，同一节点的Pod启动速度为：3个/20秒；所以针对BMS节点，强烈建议用户配置容器网卡全预热。