网络
虚拟私有云 VPC
弹性公网IP EIP
弹性负载均衡 ELB
NAT网关 NAT
云专线 DC
虚拟专用网络 VPN
云连接 CC
VPC终端节点 VPCEP
企业路由器 ER
企业交换机 ESW
全球加速 GA
企业连接 EC
云原生应用网络 ANC
安全与合规
安全技术与应用
Web应用防火墙 WAF
企业主机安全 HSS
云防火墙 CFW
安全云脑 SecMaster
DDoS防护 AAD
数据加密服务 DEW
数据库安全服务 DBSS
云堡垒机 CBH
数据安全中心 DSC
云证书管理服务 CCM
威胁检测服务 MTD
态势感知 SA
认证测试中心 CTC
边缘安全 EdgeSec
应用中间件
微服务引擎 CSE
分布式消息服务Kafka版
分布式消息服务RabbitMQ版
分布式消息服务RocketMQ版
API网关 APIG
分布式缓存服务 DCS
多活高可用服务 MAS
事件网格 EG
管理与监管
统一身份认证服务 IAM
消息通知服务 SMN
云监控服务 CES
应用运维管理 AOM
应用性能管理 APM
云日志服务 LTS
云审计服务 CTS
标签管理服务 TMS
配置审计 Config
应用身份管理服务 OneAccess
资源访问管理 RAM
组织 Organizations
资源编排服务 RFS
优化顾问 OA
IAM 身份中心
云运维中心 COC
资源治理中心 RGC
解决方案
高性能计算 HPC
SAP
混合云灾备
开天工业工作台 MIW
Haydn解决方案工厂
数字化诊断治理专家服务
云生态
云商店
合作伙伴中心
华为云开发者学堂
华为云慧通差旅
开发与运维
软件开发生产线 CodeArts
需求管理 CodeArts Req
流水线 CodeArts Pipeline
代码检查 CodeArts Check
编译构建 CodeArts Build
部署 CodeArts Deploy
测试计划 CodeArts TestPlan
制品仓库 CodeArts Artifact
移动应用测试 MobileAPPTest
CodeArts IDE Online
开源镜像站 Mirrors
性能测试 CodeArts PerfTest
应用管理与运维平台 ServiceStage
云应用引擎 CAE
开源治理服务 CodeArts Governance
华为云Astro轻应用
CodeArts IDE
Astro工作流 AstroFlow
代码托管 CodeArts Repo
漏洞管理服务 CodeArts Inspector
联接 CodeArtsLink
软件建模 CodeArts Modeling
Astro企业应用 AstroPro
CodeArts盘古助手
华为云Astro大屏应用
计算
弹性云服务器 ECS
Flexus云服务
裸金属服务器 BMS
云手机服务器 CPH
专属主机 DeH
弹性伸缩 AS
镜像服务 IMS
函数工作流 FunctionGraph
云耀云服务器(旧版)
VR云渲游平台 CVR
Huawei Cloud EulerOS
云化数据中心 CloudDC
网络
虚拟私有云 VPC
弹性公网IP EIP
弹性负载均衡 ELB
NAT网关 NAT
云专线 DC
虚拟专用网络 VPN
云连接 CC
VPC终端节点 VPCEP
企业路由器 ER
企业交换机 ESW
全球加速 GA
企业连接 EC
云原生应用网络 ANC
CDN与智能边缘
内容分发网络 CDN
智能边缘云 IEC
智能边缘平台 IEF
CloudPond云服务
安全与合规
安全技术与应用
Web应用防火墙 WAF
企业主机安全 HSS
云防火墙 CFW
安全云脑 SecMaster
DDoS防护 AAD
数据加密服务 DEW
数据库安全服务 DBSS
云堡垒机 CBH
数据安全中心 DSC
云证书管理服务 CCM
威胁检测服务 MTD
态势感知 SA
认证测试中心 CTC
边缘安全 EdgeSec
大数据
MapReduce服务 MRS
数据湖探索 DLI
表格存储服务 CloudTable
可信智能计算服务 TICS
推荐系统 RES
云搜索服务 CSS
数据可视化 DLV
数据接入服务 DIS
数据仓库服务 GaussDB(DWS)
数据治理中心 DataArts Studio
湖仓构建 LakeFormation
智能数据洞察 DataArts Insight
应用中间件
微服务引擎 CSE
分布式消息服务Kafka版
分布式消息服务RabbitMQ版
分布式消息服务RocketMQ版
API网关 APIG
分布式缓存服务 DCS
多活高可用服务 MAS
事件网格 EG
开天aPaaS
应用平台 AppStage
开天企业工作台 MSSE
开天集成工作台 MSSI
API中心 API Hub
云消息服务 KooMessage
交换数据空间 EDS
云地图服务 KooMap
云手机服务 KooPhone
组织成员账号 OrgID
云空间服务 KooDrive
管理与监管
统一身份认证服务 IAM
消息通知服务 SMN
云监控服务 CES
应用运维管理 AOM
应用性能管理 APM
云日志服务 LTS
云审计服务 CTS
标签管理服务 TMS
配置审计 Config
应用身份管理服务 OneAccess
资源访问管理 RAM
组织 Organizations
资源编排服务 RFS
优化顾问 OA
IAM 身份中心
云运维中心 COC
资源治理中心 RGC
区块链
区块链服务 BCS
数字资产链 DAC
华为云区块链引擎服务 HBS
解决方案
高性能计算 HPC
SAP
混合云灾备
开天工业工作台 MIW
Haydn解决方案工厂
数字化诊断治理专家服务
价格
成本优化最佳实践
专属云商业逻辑
云生态
云商店
合作伙伴中心
华为云开发者学堂
华为云慧通差旅
其他
管理控制台
消息中心
产品价格详情
系统权限
客户关联华为云合作伙伴须知
公共问题
宽限期保留期
奖励推广计划
活动
云服务信任体系能力说明
开发与运维
软件开发生产线 CodeArts
需求管理 CodeArts Req
流水线 CodeArts Pipeline
代码检查 CodeArts Check
编译构建 CodeArts Build
部署 CodeArts Deploy
测试计划 CodeArts TestPlan
制品仓库 CodeArts Artifact
移动应用测试 MobileAPPTest
CodeArts IDE Online
开源镜像站 Mirrors
性能测试 CodeArts PerfTest
应用管理与运维平台 ServiceStage
云应用引擎 CAE
开源治理服务 CodeArts Governance
华为云Astro轻应用
CodeArts IDE
Astro工作流 AstroFlow
代码托管 CodeArts Repo
漏洞管理服务 CodeArts Inspector
联接 CodeArtsLink
软件建模 CodeArts Modeling
Astro企业应用 AstroPro
CodeArts盘古助手
华为云Astro大屏应用
存储
对象存储服务 OBS
云硬盘 EVS
云备份 CBR
高性能弹性文件服务 SFS Turbo
弹性文件服务 SFS
存储容灾服务 SDRS
云硬盘备份 VBS
云服务器备份 CSBS
数据快递服务 DES
云存储网关 CSG
专属分布式存储服务 DSS
数据工坊 DWR
地图数据 MapDS
键值存储服务 KVS
容器
云容器引擎 CCE
云容器实例 CCI
容器镜像服务 SWR
云原生服务中心 OSC
应用服务网格 ASM
华为云UCS
数据库
云数据库 RDS
数据复制服务 DRS
文档数据库服务 DDS
分布式数据库中间件 DDM
云数据库 GaussDB
云数据库 GeminiDB
数据管理服务 DAS
数据库和应用迁移 UGO
云数据库 TaurusDB
人工智能
AI开发平台ModelArts
华为HiLens
图引擎服务 GES
图像识别 Image
文字识别 OCR
自然语言处理 NLP
内容审核 Moderation
图像搜索 ImageSearch
医疗智能体 EIHealth
企业级AI应用开发专业套件 ModelArts Pro
人脸识别服务 FRS
对话机器人服务 CBS
语音交互服务 SIS
人证核身服务 IVS
视频智能分析服务 VIAS
城市智能体
自动驾驶云服务 Octopus
盘古大模型 PanguLargeModels
IoT物联网
设备接入 IoTDA
全球SIM联接 GSL
IoT数据分析 IoTA
路网数字化服务 DRIS
IoT边缘 IoTEdge
设备发放 IoTDP
企业应用
域名注册服务 Domains
云解析服务 DNS
企业门户 EWP
ICP备案
商标注册
华为云WeLink
华为云会议 Meeting
隐私保护通话 PrivateNumber
语音通话 VoiceCall
消息&短信 MSGSMS
云管理网络
SD-WAN 云服务
边缘数据中心管理 EDCM
云桌面 Workspace
应用与数据集成平台 ROMA Connect
ROMA资产中心 ROMA Exchange
API全生命周期管理 ROMA API
政企自服务管理 ESM
视频
实时音视频 SparkRTC
视频直播 Live
视频点播 VOD
媒体处理 MPC
视频接入服务 VIS
数字内容生产线 MetaStudio
迁移
主机迁移服务 SMS
对象存储迁移服务 OMS
云数据迁移 CDM
迁移中心 MGC
专属云
专属计算集群 DCC
开发者工具
SDK开发指南
API签名指南
DevStar
华为云命令行工具服务 KooCLI
Huawei Cloud Toolkit
CodeArts API
云化转型
云架构中心
云采用框架
用户服务
账号中心
费用中心
成本中心
资源中心
企业管理
工单管理
客户运营能力
国际站常见问题
支持计划
专业服务
合作伙伴支持计划
我的凭证
华为云公共事业服务云平台
工业软件
工业数字模型驱动引擎
硬件开发工具链平台云服务
工业数据转换引擎云服务

云原生网络2.0模型说明

更新时间:2025-02-18 GMT+08:00
分享

云原生网络2.0模型

云原生网络2.0是自研的新一代容器网络模型,深度整合了虚拟私有云VPC的弹性网卡(Elastic Network Interface,简称ENI)和辅助弹性网卡(Sub Network Interface,简称Sub-ENI)的能力,将Pod直接绑定弹性网卡或辅助弹性网卡,使每个Pod在VPC内均拥有独立的IP地址,且支持ELB直通容器、Pod绑定安全组、Pod绑定弹性公网IP等特性。由于不需要使用容器隧道封装和NAT地址转换,云原生网络2.0模型与容器隧道网络模型和VPC网络模型相比具有比较高的网络性能。

图1 云原生网络2.0

在云原生网络2.0模型的集群中,Pod依赖弹性网卡/辅助弹性网卡对外进行网络通信:

  • 裸金属节点上运行的Pod使用ENI网卡。
  • ECS节点上运行的Pod使用Sub-ENI网卡,Sub-ENI网卡通过VLAN子接口挂载在ECS的ENI网卡上。
  • 由于需要为每个Pod绑定网卡,因此节点上可运行的Pod数量上限由该节点的能绑定的网卡个数和网卡端口数决定。
  • 节点内Pod间通信、跨节点Pod间通信、Pod访问集群外网络的情况均直接通过VPC的弹性网卡/弹性辅助网卡进行流量转发。

约束与限制

仅CCE Turbo集群支持使用云原生网络2.0模型。

优缺点

优点

  • 基于VPC构建容器网络,每个Pod具有独立的网卡及IP地址,易于排查网络问题,且具有最高的性能表现。
  • 在同一个VPC内,由于Pod直接绑定VPC网卡,集群外部的资源可以与集群内部的容器直接进行网络通信。
    说明:

    同理,如果该VPC和其他VPC或数据中心网络环境连通,在网段不冲突的情况下,其他VPC或数据中心所属的资源也可以与集群内部的容器直接进行网络通信。

  • Pod可直接使用VPC提供的负载均衡、安全组、弹性公网IP等能力。

缺点

由于容器网络基于VPC构建,每个Pod都会从VPC网段内分配IP地址,消耗VPC的地址空间,创建集群前需要合理规划好容器网段。

适用场景

  • 性能要求高:由于云原生网络2.0直接使用VPC网络构建容器网络,容器通信不需要进行隧道封装和NAT转换,所以适用于对带宽、时延要求极高的业务场景,比如:线上直播、电商抢购等。
  • 大规模组网:云原生网络2.0当前最大可支持2000个ECS节点,10万个Pod。

容器IP地址管理

云原生网络2.0下的BMS节点和ECS节点分别使用的是弹性网卡和辅助弹性网卡:

  • Pod的IP地址从配置给容器网络的VPC子网上直接分配,无需为节点分配一个单独的小网段。
  • ECS节点添加到集群中,先绑定用于承载辅助弹性网卡的弹性网卡,待弹性网卡绑定完成后,即可绑定辅助弹性网卡。
  • ECS节点上绑定的弹性网卡数:v1.19.16-r40、v1.21.11-r0、v1.23.9-r0、v1.25.4-r0、v1.27.1-r0及以上版本的集群中该值为1;上述版本以下的集群中该值为节点最多可绑定的辅助弹性网卡数/64,向上取整。
  • ECS节点上绑定的总网卡数:用于承载辅助弹性网卡的弹性网卡数+当前Pod使用的辅助弹性网卡数+预热的辅助弹性网卡数
  • BMS节点上绑定的网卡数:当前Pod使用的弹性网卡数+预热的弹性网卡数
  • Pod创建时,优先从节点的预热网卡池中随机分配一个可用的网卡。
  • Pod删除时,网卡释放回节点的预热网卡池。
  • 节点删除时,将释放节点上所有已绑定的网卡(弹性网卡释放回集群预申请的网卡池,辅助弹性网卡直接删除)。

云原生2.0网络目前支持以下网卡预热策略:节点容器网卡动态预热策略节点绑定容器网卡数总量高低水位策略(废弃中)。使用场景如下表所示:

表1 容器网卡预热策略对比表

容器网卡预热策略

节点容器网卡动态预热策略(默认策略)

节点绑定容器网卡数总量高低水位策略(废弃中)

管理策略

节点最少绑定容器网卡数(nic-minimum-target):保障节点最少有多少张容器网卡绑定在节点上(预热未被Pod使用+已被Pod使用)

节点预热容器网卡上限检查值(nic-maximum-target):当节点绑定的容器网卡数超过该值,不再主动预热容器网卡

节点动态预热容器网卡数(nic-warm-target):保障节点至少预热的容器网卡数

节点预热容器网卡回收阈值(nic-max-above-warm-target):只有当 节点上空闲的容器网卡数 - 节点动态预热容器网卡数(nic-warm-target) 大于此阈值时,才会触发预热容器网卡的解绑回收

节点绑定容器网卡数低水位:保障节点至少会绑定多少张网卡(未被Pod使用+已被Pod使用)

节点绑定容器网卡数高水位:保障节点至多会绑定多少张网卡,超过该值会尝试解绑未被使用的空闲网卡

适用场景

在尽可能提高IP资源利用率的前提下,尽可能加快Pod的启动速度,适用于容器网段IP地址数紧张的场景

通过合理配置上述四个参数,可适用于各种业务场景,详情请参见CCE Turbo配置容器网卡动态预热

适用于容器网段IP地址数充足,且节点上Pod数变化剧烈,但固定在某个范围的场景

说明:
  • 1.19.16-r2、1.21.5-r0、1.23.3-r0到1.19.16-r4、1.21.7-r0、1.23.5-r0之间的集群版本只支持nic-minimum-target和nic-warm-target两个容器网卡动态预热参数配置,绑定网卡数总量高低水位配置优先级高于容器网卡动态预热配置。
  • 1.19.16-r4、1.21.7-r0、1.23.5-r0、1.25.1-r0及以上集群版本支持全部四个容器网卡动态预热参数配置,容器网卡动态预热配置优先级高于绑定网卡数总量高低水位配置。
图2 节点容器网卡动态预热策略

针对节点容器网卡动态预热策略,CCE提供了四个参数配置,您可以根据业务规划,集群规模以及节点上可绑定的网卡数,合理设置这四个参数。

表2 容器网卡动态预热参数

容器网卡动态预热参数

默认值

参数说明

配置建议

节点最少绑定容器网卡数(nic-minimum-target)

10

保障节点最少有多少张容器网卡绑定在节点上,支持数值跟百分比两种配置方式。

  • 数值配置:参数值需为正整数。例如10,表示节点最少有10张容器网卡绑定在节点上。当超过节点的容器网卡配额时,后台取值为节点的容器网卡配额。
  • 百分比配置:参数值范围为1%-100%。例如10%,如果节点容器网卡配额128,表示节点最少有12张(向下取整)容器网卡绑定在节点上。

建议nic-minimum-target与nic-maximum-target为同类型的配置方式(同采用数值配置或同采用百分比配置)。

建议配置为大部分节点平时日常运行的Pod数。

节点预热容器网卡上限检查值(nic-maximum-target)

0

当节点绑定的容器网卡数超过节点预热容器网卡上限检查值(nic-maximum-target),不再主动预热容器网卡。

当该参数大于等于节点最少绑定容器网卡数(nic-minimum-target)时,则开启预热容器网卡上限值检查;反之,则关闭预热容器网卡上限值检查。支持数值跟百分比两种配置方式。

  • 数值配置:参数值需为正整数。例如0,表示关闭预热容器网卡上限值检查。当超过节点的容器网卡配额时,后台取值为节点的容器网卡配额。
  • 百分比配置:参数值范围为1%-100%。例如50%,如果节点容器网卡配额128,表示节点预热容器网卡上限检查值64(向下取整)。

建议nic-minimum-target与nic-maximum-target为同类型的配置方式(同采用数值配置或同采用百分比配置)。

建议配置为大部分节点平时最多运行的Pod数。

节点动态预热容器网卡数(nic-warm-target)

2

保障节点至少预热的容器网卡数,只支持数值配置。

当 节点动态预热容器网卡数(nic-warm-target) + 节点当前绑定的容器网卡数 大于 节点预热容器网卡上限检查值(nic-maximum-target) 时,只会预热nic-maximum-target与节点当前绑定的容器网卡数的差值。

建议配置为大部分节点日常10s内会瞬时弹性扩容的Pod数。

节点预热容器网卡回收阈值(nic-max-above-warm-target)

2

只有当 节点上空闲的容器网卡数 - 节点动态预热容器网卡数(nic-warm-target) 大于此阈值 时,才会触发预热容器网卡的解绑回收。只支持数值配置。

  • 调大此值会减慢空闲容器网卡的回收,加快Pod的启动速度,但会降低IP地址的利用率,特别是在IP地址紧张的场景,请谨慎调大
  • 调小此值会加快空闲容器网卡的回收,提高IP地址的利用率,但在瞬时大量Pod激增的场景,部分Pod启动会稍微变慢。

建议配置为大部分节点日常在分钟级时间范围内会频繁弹性扩容缩容的Pod数 - 大部分节点日常10s内会瞬时弹性扩容的Pod数。

说明:

上述容器网卡动态预热参数支持集群级别的全局配置和节点池级别的差异化配置,其中节点池级别的容器网卡动态预热配置优先级高于集群级别的容器网卡动态预热配置。

容器网络组件会为每个节点维护一个可弹性伸缩的预热容器网卡池 ,定时(约10s一次)检测并计算需要绑定的预热容器网卡数需要解绑的空闲容器网卡数 :
  • 需要绑定的预热容器网卡数 = min(nic-maximum-target - 当前绑定的容器网卡总数,max(nic-minimum-target - 当前绑定的容器网卡总数,nic-warm-target - 当前空闲的容器网卡数))
  • 需要解绑的空闲容器网卡数 = min(当前空闲的容器网卡数 - nic-warm-target - nic-max-above-warm-target,当前绑定的容器网卡总数 - nic-minimum-target)
节点上当前预热的容器网卡数稳态后会维持在以下区间内:
  • 当前预热的容器网卡数区间最小值 = min(max(nic-minimum-target - 当前绑定的容器网卡总数,nic-warm-target), nic-maximum-target - 当前绑定的容器网卡总数)
  • 当前预热的容器网卡数区间最大值 = max(nic-warm-target + nic-max-above-warm-target, 当前绑定的容器网卡总数 - nic-minimum-target)

Pod创建时,优先从节点的预热容器网卡池中顺序分配(最早未被使用的)一张空闲的容器网卡,如没有可用的空闲网卡,会新创建一张网卡(辅助弹性网卡)或 新绑定一张网卡(弹性网卡)以分配给该Pod。

Pod删除时,对应的容器网卡先释放回节点的预热容器网卡池,2分钟冷却时间内可供下一个Pod循环使用,超过2分钟冷却时间后且节点预热容器网卡池计算出需要释放该容器网卡,才会释放该容器网卡。

图3 节点绑定容器网卡数总量高低水位策略

针对总量高低水位算法,CCE提供了一个配置参数,您可以根据业务规划,集群规模以及节点上可绑定的网卡数,合理设置这个参数:

  • 节点绑定容器网卡数低水位:默认为0,保障节点至少会绑定多少张网卡(未被Pod使用+已被Pod使用)。ECS节点预绑定低水位网卡数=节点绑定网卡数低水位*节点总辅助弹性网卡数;BMS节点预绑定低水位网卡数=节点绑定网卡数低水位*节点总弹性网卡数。
  • 节点绑定容器网卡数高水位:默认为0,保障节点至多会绑定多少张网卡,超过该值会尝试解绑未被使用的空闲网卡。ECS节点预绑定高水位网卡数=节点绑定网卡数高水位*节点总辅助弹性网卡数;BMS节点预绑定高水位网卡数=节点绑定网卡数高水位*节点总弹性网卡数。

容器网络组件会为每个节点维护一个可弹性伸缩的容器网卡池:

  • 已绑定容器网卡数量(Pod使用的容器网卡数+预绑定的容器网卡数)< 预绑定低水位容器网卡数时,会绑定网卡直到节点上已绑定容器网卡数量(Pod使用的容器网卡数+预绑定的容器网卡数)=预绑定低水位容器网卡数
  • 已绑定容器网卡数量(Pod使用的容器网卡数+预绑定的容器网卡数)> 预绑定高水位容器网卡数,且 节点预绑定的容器网卡数>0 时,会定时释放预绑定的容器网卡(超过2分钟未被使用的空闲网卡),直到Pod使用的容器网卡数+预绑定的容器网卡数=节点预绑定高水位容器网卡数 Pod使用的容器网卡数 > 节点预绑定高水位容器网卡数 节点预绑定的容器网卡数=0。

网段规划建议

集群网络构成中介绍集群中网络地址可分为集群网络、容器网络、服务网络三块,在规划网络地址时需要从如下方面考虑:

  • 集群所在VPC下所有子网(包括扩展网段子网)不能和服务网段冲突。
  • 保证每个网段有足够的IP地址可用
    • 集群网段的IP地址要与集群规模相匹配,否则会因为IP地址不足导致无法创建节点。
    • 容器网段的IP地址要与业务规模相匹配,否则会因为IP地址不足导致无法创建Pod。

云原生网络2.0模型下,由于容器网段与节点网段共同使用VPC下的网络地址,建议容器子网与节点子网不要使用同一个子网,否则容易出现IP资源不足导致容器或节点创建失败的情况。

另外云原生网络2.0模型下容器网段支持在创建集群后增加子网,扩展可用IP数量,此时需要注意增加的子网不要与容器网段其他子网存在网络冲突。

图4 网段配置(创建集群时配置)

云原生网络2.0访问示例

本示例中,已创建一个CCE Turbo集群,且集群中包含3个ECS节点。

在ECS控制台中查看其中一个节点的基本信息,在网卡信息中可以看到节点上绑定了一个主网卡和扩展网卡,这两个网卡都属于弹性网卡,其中扩展网卡的IP地址属于容器网络网段,用于给Pod挂载辅助弹性网卡Sub-ENI。

图5 节点网卡

在云原生网络2.0集群中创建工作负载的访问示例如下。

  1. 使用kubectl命令行工具连接集群,详情请参见通过kubectl连接集群
  2. 在集群中创建一个Deployment。

    创建deployment.yaml文件,文件内容示例如下:

    kind: Deployment
    apiVersion: apps/v1
    metadata:
      name: example
      namespace: default
    spec:
      replicas: 6
      selector:
        matchLabels:
          app: example
      template:
        metadata:
          labels:
            app: example
        spec:
          containers:
            - name: container-0
              image: 'nginx:perl'
              resources:
                limits:
                  cpu: 250m
                  memory: 512Mi
                requests:
                  cpu: 250m
                  memory: 512Mi
          imagePullSecrets:
            - name: default-secret

    创建该工作负载:

    kubectl apply -f deployment.yaml

  3. 查看已运行的Pod。

    kubectl get pod -owide

    回显如下:

    NAME                       READY   STATUS    RESTARTS   AGE   IP            NODE         NOMINATED NODE   READINESS GATES
    example-5bdc5699b7-54v7g   1/1     Running   0          7s    10.1.18.2     10.1.0.167   <none>           <none>
    example-5bdc5699b7-6dzx5   1/1     Running   0          7s    10.1.18.216   10.1.0.186   <none>           <none>
    example-5bdc5699b7-gq7xs   1/1     Running   0          7s    10.1.16.63    10.1.0.144   <none>           <none>
    example-5bdc5699b7-h9rvb   1/1     Running   0          7s    10.1.16.125   10.1.0.167   <none>           <none>
    example-5bdc5699b7-s9fts   1/1     Running   0          7s    10.1.16.89    10.1.0.144   <none>           <none>
    example-5bdc5699b7-swq6q   1/1     Running   0          7s    10.1.17.111   10.1.0.167   <none>           <none>

    这里Pod的IP都是Sub-ENI,挂载在节点的ENI上(扩展网卡)。

    例如10.1.0.167节点对应的扩展网卡IP地址为10.1.17.172。在弹性网卡控制台上查看IP地址为10.1.17.172的扩展网卡上挂载了3个Sub-ENI,均为该节点上运行的Pod IP。

    图6 Pod网卡

  4. 登录同一VPC内的云服务器,从集群外直接访问Pod的IP,本示例中为10.1.18.2

    curl 10.1.18.2

    回显如下,说明可正常访问工作负载应用:

    <!DOCTYPE html>
    <html>
    <head>
    <title>Welcome to nginx!</title>
    <style>
        body {
            width: 35em;
            margin: 0 auto;
            font-family: Tahoma, Verdana, Arial, sans-serif;
        }
    </style>
    </head>
    <body>
    <h1>Welcome to nginx!</h1>
    <p>If you see this page, the nginx web server is successfully installed and
    working. Further configuration is required.</p>
    
    <p>For online documentation and support please refer to
    <a href="http://nginx.org/">nginx.org</a>.<br/>
    Commercial support is available at
    <a href="http://nginx.com/">nginx.com</a>.</p>
    
    <p><em>Thank you for using nginx.</em></p>
    </body>
    </html>

CCE Turbo集群Pod批量创建性能说明

CCE Turbo集群的Pod容器网卡申请自VPC的弹性网卡或者辅助弹性网卡,目前Pod与网卡(弹性网卡或辅助弹性网卡)的关联操作发生在Pod调度完成之后,Pod创建的速度受网卡创建与绑定速度的影响,具体限制如下表所示。

表3 容器网卡创建耗时

节点类型

网卡类型

可支持的最大网卡数

网卡绑定到节点上的操作

网卡可用耗时

并发控制

节点上的容器网卡默认预热配置

ECS节点

辅助弹性网卡

256

指定该节点的弹性网卡创建辅助弹性网卡

1s以内

租户级别:600/分钟

1.19.16-r2、1.21.5-r0、1.23.3-r0之前的集群版本:容器网卡不预热

1.19.16-r2、1.21.5-r0、1.23.3-r0到1.19.16-r4、1.21.7-r0、1.23.5-r0之间的集群版本:容器网卡动态预热(nic-minimum-target=10;nic-warm-target=2)

1.19.16-r4、1.21.7-r0、1.23.5-r0、1.25.1-r0及以上集群版本:容器网卡动态预热(nic-minimum-target=10;nic-maximum-target=0;nic-warm-target=2;nic-max-above-warm-target=2)

BMS节点

弹性网卡

128

节点绑定弹性网卡

20s-30s

节点级别:3并发

1.19.16-r4、1.21.7-r0、1.23.5-r0之前的集群版本:容器网卡总数高低水位预热(nic-threshold=0.3:0.6)

1.19.16-r4、1.21.7-r0、1.23.5-r0、1.25.1-r0、1.28.1-r0及以上集群版本:容器网卡动态预热(nic-minimum-target=10;nic-maximum-target=0;nic-warm-target=2;nic-max-above-warm-target=2)

说明:

容器网卡预热会提前消耗容器子网的IP地址,进而影响集群可运行的Pod数规模,请根据业务规模合理规划配置容器网卡动态预热参数,详情请参见CCE Turbo配置容器网卡动态预热

ECS节点创建Pod说明(采用辅助弹性网卡)

  • 当Pod调度的节点上没有可用的已经预热的容器网卡时,会调用辅助弹性网卡的创建API,在该节点的一个弹性网卡上创建一个辅助弹性网卡;并把该辅助弹性网卡分配给该Pod。
  • 当Pod调度的节点上有可用的已经预热的容器网卡时,会选择创建时间最长且未使用的一张辅助弹性网卡分配给该Pod。
  • 受限于辅助弹性网卡的租户并发创建速度,容器网卡不预热的场景下,每分钟最多创建成功600个Pod;如果有更高的弹性要求,可根据业务场景合理配置容器网卡动态预热参数。

BMS节点创建Pod说明(采用弹性网卡)

  • 当Pod调度的节点上没有可用的已经预热的容器网卡时,会调用节点绑定网卡的API,在该节点上绑定一个弹性网卡;并把该弹性网卡分配给该Pod。目前BMS节点绑定一张弹性网卡直至完全可用大约耗时在20s到30s不等。
  • 当Pod调度的节点上有可用的已经预热的容器网卡时,会选择创建时间最长且未使用的一张弹性网卡分配给该Pod。
  • 受限于BMS节点绑定弹性网卡的速度,容器网卡不预热的场景下,同一节点的Pod启动速度为:3个/20秒;所以针对BMS节点,强烈建议用户配置容器网卡全预热。
文档反馈

文档反馈

意见反馈

0/500

标记内容

同时提交标记内容