切换产品类型
您可以点击下拉框切换本产品的不同产品类型,帮助您更高效地阅读文档。
- 最新动态
- 功能总览
-
服务公告
- 最新公告
- 产品变更公告
- 集群版本公告
-
漏洞公告
- 漏洞修复策略
- NVIDIA Container Toolkit容器逃逸漏洞公告(CVE-2024-0132)
- Linux CUPS服务RCE 漏洞公告(CVE-2024-47076、CVE-2024-47175、CVE-2024-47176、CVE-2024-47177)
- NGINX Ingress控制器验证绕过漏洞公告(CVE-2024-7646)
- Docker Engine授权插件AuthZ权限绕过漏洞公告(CVE-2024-41110)
- Linux内核权限提升漏洞公告(CVE-2024-1086)
- OpenSSH远程代码执行漏洞公告(CVE-2024-6387)
- Fluent Bit内存崩溃漏洞公告(CVE-2024-4323)
- runc systemd属性注入漏洞公告(CVE-2024-3154)
- runc漏洞(CVE-2024-21626)对CCE服务的影响说明
- Kubernetes安全漏洞公告(CVE-2022-3172)
- Linux Kernel openvswitch 模块权限提升漏洞预警(CVE-2022-2639)
- nginx-ingress插件安全漏洞预警公告(CVE-2021-25748)
- nginx-ingress插件安全漏洞预警公告(CVE-2021-25745,CVE-2021-25746)
- containerd容器进程权限提升漏洞公告(CVE-2022-24769)
- CRI-O容器运行时引擎任意代码执行漏洞(CVE-2022-0811)
- linux内核导致的容器逃逸漏洞公告(CVE-2022-0492)
- containerd镜像Volume非安全处理漏洞公告(CVE-2022-23648)
- Linux内核整数溢出漏洞(CVE-2022-0185)
- Linux Polkit 权限提升漏洞预警(CVE-2021-4034)
- Kubernetes subpath符号链接交换安全漏洞(CVE-2021- 25741)
- runc符号链接挂载与容器逃逸漏洞预警公告(CVE-2021-30465)
- Docker资源管理错误漏洞公告(CVE-2021-21285)
- NVIDIA GPU驱动漏洞公告(CVE-2021-1056)
- Sudo缓冲区错误漏洞公告(CVE-2021-3156)
- Kubernetes安全漏洞公告(CVE-2020-8554)
- Apache containerd安全漏洞公告(CVE-2020-15257)
- Docker Engine输入验证错误漏洞公告(CVE-2020-13401)
- Kubernetes kube-apiserver输入验证错误漏洞公告(CVE-2020-8559)
- Kubernetes kubelet资源管理错误漏洞公告(CVE-2020-8557)
- Kubernetes kubelet和kube-proxy授权问题漏洞公告(CVE-2020-8558)
- 修复Kubernetes HTTP/2漏洞公告
- 修复Linux内核SACK漏洞公告
- 修复Docker操作系统命令注入漏洞公告(CVE-2019-5736)
- 全面修复Kubernetes权限许可和访问控制漏洞公告(CVE-2018-1002105)
- 修复Kubernetes Dashboard安全漏洞公告(CVE-2018-18264)
-
产品发布记录
-
集群版本发布记录
- Kubernetes版本策略
-
Kubernetes版本发布记录
- Kubernetes 1.30版本说明
- Kubernetes 1.29版本说明
- Kubernetes 1.28版本说明
- Kubernetes 1.27版本说明
- Kubernetes 1.25版本说明
- Kubernetes 1.23版本说明
- (停止维护)Kubernetes 1.21版本说明
- (停止维护)Kubernetes 1.19版本说明
- (停止维护)Kubernetes 1.17版本说明
- (停止维护)Kubernetes 1.15版本说明
- (停止维护)Kubernetes 1.13版本说明
- (停止维护)Kubernetes 1.11版本说明
- (停止维护)Kubernetes 1.9及之前版本说明
- 补丁版本发布记录
- 操作系统镜像发布记录
-
插件版本发布记录
- CoreDNS域名解析插件版本发布记录
- CCE容器存储插件(Everest)版本发布记录
- CCE节点故障检测插件版本发布记录
- Kubernetes Dashboard插件版本发布记录
- CCE集群弹性引擎版本发布记录
- NGINX Ingress控制器插件版本发布记录
- Kubernetes Metrics Server插件版本发布记录
- CCE容器弹性引擎插件版本发布记录
- CCE突发弹性引擎(对接CCI)插件版本发布记录
- CCE AI套件(NVIDIA GPU)版本发布记录
- CCE AI套件(Ascend NPU)版本发布记录
- Volcano调度器版本发布记录
- CCE密钥管理(对接 DEW)插件版本发布记录
- CCE容器网络扩展指标插件版本发布记录
- 节点本地域名解析加速插件版本发布记录
- 云原生监控插件版本发布记录
- 云原生日志采集插件版本发布记录
- 容器镜像签名验证插件版本发布记录
- Grafana插件版本发布记录
- OpenKruise插件版本发布记录
- Gatekeeper插件版本发布记录
- 容器垂直弹性引擎版本发布记录
- CCE集群备份恢复插件版本发布记录(停止维护)
- Kubernetes Web终端版本发布记录(停止维护)
- Prometheus插件版本发布记录(停止维护)
-
集群版本发布记录
- 产品介绍
- 计费说明
- Kubernetes基础知识
- 快速入门
-
用户指南
- 高危操作一览
-
集群
- 集群概述
-
集群版本发布说明
-
Kubernetes版本发布记录
- Kubernetes 1.31版本说明
- Kubernetes 1.30版本说明
- Kubernetes 1.29版本说明
- Kubernetes 1.28版本说明
- Kubernetes 1.27版本说明
- Kubernetes 1.25版本说明
- Kubernetes 1.23版本说明
- (停止维护)Kubernetes 1.21版本说明
- (停止维护)Kubernetes 1.19版本说明
- (停止维护)Kubernetes 1.17版本说明
- (停止维护)Kubernetes 1.15版本说明
- (停止维护)Kubernetes 1.13版本说明
- (停止维护)Kubernetes 1.11版本说明
- (停止维护)Kubernetes 1.9及之前版本说明
- 补丁版本发布记录
-
Kubernetes版本发布记录
- 购买集群
- 连接集群
- 管理集群
-
升级集群
- 升级集群的流程和方法
- 升级前须知
- 升级后验证
- 集群跨版本业务迁移
-
升级前检查异常问题排查
- 升级前检查项
- 节点限制检查异常处理
- 升级管控检查异常处理
- 插件检查异常处理
- Helm模板检查异常处理
- Master节点SSH连通性检查异常处理
- 节点池检查异常处理
- 安全组检查异常处理
- 残留待迁移节点检查异常处理
- K8s废弃资源检查异常处理
- 兼容性风险检查异常处理
- 节点上CCE Agent版本检查异常处理
- 节点CPU使用率检查异常处理
- CRD检查异常处理
- 节点磁盘检查异常处理
- 节点DNS检查异常处理
- 节点关键目录文件权限检查异常处理
- 节点Kubelet检查异常处理
- 节点内存检查异常处理
- 节点时钟同步服务器检查异常处理
- 节点OS检查异常处理
- 节点CPU数量检查异常处理
- 节点Python命令检查异常处理
- ASM网格版本检查异常处理
- 节点Ready检查异常处理
- 节点journald检查异常处理
- 节点干扰ContainerdSock检查异常处理
- 内部错误异常处理
- 节点挂载点检查异常处理
- K8s节点污点检查异常处理
- everest插件版本限制检查异常处理
- cce-hpa-controller插件限制检查异常处理
- 增强型CPU管理策略检查异常处理
- 用户节点组件健康检查异常处理
- 控制节点组件健康检查异常处理
- K8s组件内存资源限制检查异常处理
- K8s废弃API检查异常处理
- 节点NetworkManager检查异常处理
- 节点ID文件检查异常处理
- 节点配置一致性检查异常处理
- 节点配置文件检查异常处理
- CoreDNS配置一致性检查异常处理
- 节点Sudo检查异常处理
- 节点关键命令检查异常处理
- 节点sock文件挂载检查异常处理
- HTTPS类型负载均衡证书一致性检查异常处理
- 节点挂载检查异常处理
- 节点paas用户登录权限检查异常处理
- ELB IPv4私网地址检查异常处理
- 检查历史升级记录是否满足升级条件
- 检查集群管理平面网段是否与主干配置一致
- GPU插件检查异常处理
- 节点系统参数检查异常处理
- 残留packageversion检查异常处理
- 节点命令行检查异常处理
- 节点交换区检查异常处理
- NGINX Ingress控制器插件升级检查异常处理
- 云原生监控插件升级检查异常处理
- Containerd Pod重启风险检查异常处理
- GPU插件关键参数检查异常处理
- GPU/NPU Pod重建风险检查异常处理
- ELB监听器访问控制配置项检查异常处理
- Master节点规格检查异常处理
- Master节点子网配额检查异常处理
- 节点运行时检查异常处理
- 节点池运行时检查异常处理
- 检查节点镜像数量异常处理
- OpenKruise插件兼容性检查异常处理
- Secret落盘加密特性兼容性检查异常处理
- Ubuntu内核与GPU驱动兼容性提醒
- 排水任务检查异常处理
- 节点镜像层数量异常检查
- 检查集群是否满足滚动升级条件
- 轮转证书文件数量检查
- Ingress与ELB配置一致性检查
- 集群网络组件的NetworkPolicy开关检查
- 集群与节点池配置管理检查
- Master节点时区检查
- 节点
- 节点池
- 工作负载
- 调度
-
网络
- 网络概述
- 容器网络
-
服务(Service)
- 服务概述
- 集群内访问(ClusterIP)
- 节点访问(NodePort)
-
负载均衡(LoadBalancer)
- 创建负载均衡类型的服务
- 使用Annotation配置负载均衡类型的服务
- 为负载均衡类型的Service配置HTTP/HTTPS协议
- 为负载均衡类型的Service配置服务器名称指示(SNI)
- 为负载均衡类型的Service配置HTTP/2
- 为负载均衡类型的Service配置HTTP/HTTPS头字段
- 为负载均衡类型的Service配置超时时间
- 为负载均衡类型的Service配置TLS
- 为负载均衡类型的Service配置gzip数据压缩
- 为负载均衡类型的Service配置黑名单/白名单访问策略
- 为负载均衡类型的Service指定多个端口配置健康检查
- 为负载均衡类型的Service配置pass-through能力
- 为负载均衡类型的Service配置获取客户端IP
- 为负载均衡类型的Service配置自定义EIP
- 为负载均衡类型的Service配置区间端口监听
- 通过ELB健康检查设置Pod就绪状态
- 健康检查使用UDP协议的安全组规则说明
- DNAT网关(DNAT)
- Headless Service
-
路由(Ingress)
- 路由概述
- ELB Ingress和Nginx Ingress对比
-
ELB Ingress管理
- 通过控制台创建ELB Ingress
- 通过Kubectl命令行创建ELB Ingress
- 用于配置ELB Ingress的注解(Annotations)
-
ELB Ingress高级配置示例
- 为ELB Ingress配置HTTPS证书
- 更新ELB Ingress的HTTPS证书
- 为ELB Ingress配置服务器名称指示(SNI)
- 为ELB Ingress配置多个转发策略
- 为ELB Ingress配置HTTP/2
- 为ELB Ingress配置HTTPS协议的后端服务
- 为ELB Ingress配置GRPC协议的后端服务
- 为ELB Ingress配置超时时间
- 为ELB Ingress配置慢启动持续时间
- 为ELB Ingress配置灰度发布
- 为ELB Ingress配置黑名单/白名单访问策略
- 为ELB Ingress配置多个监听端口
- 为ELB Ingress配置HTTP/HTTPS头字段
- 为ELB Ingress配置gzip数据压缩
- 为ELB Ingress配置URL重定向
- 为ELB Ingress配置Rewrite重写
- 为ELB Ingress配置HTTP重定向到HTTPS
- 为ELB Ingress配置转发规则优先级
- 为ELB Ingress配置自定义Header转发策略
- 为ELB Ingress配置自定义EIP
- 为ELB Ingress配置跨域访问
- 为ELB Ingress配置高级转发规则
- 为ELB Ingress配置高级转发动作
- ELB Ingress转发策略优先级说明
- 多个Ingress使用同一个ELB对外端口的配置说明
- Nginx Ingress管理
- 自建Nginx Ingress迁移到ELB Ingress
- DNS
- 集群网络配置
- 容器如何访问VPC内部网络
- 从容器访问公网
- 存储
- 弹性伸缩
- 云原生观测
- 云原生成本治理
- 命名空间
- 配置项与密钥
- 插件
- 模板(Helm Chart)
- 权限
- 配置中心
- 存储管理-Flexvolume(已弃用)
-
最佳实践
- 容器应用部署上云CheckList
- 容器化改造
- 迁移
- DevOps
- 容灾
- 安全
- 弹性伸缩
- 监控
- 集群
-
网络
- 集群网络地址段规划实践
- 集群网络模型选择及各模型区别
- CCE集群实现访问跨VPC网络通信
- 使用VPC和云专线实现容器与IDC之间的网络通信
- 自建IDC与CCE集群共享域名解析
- 通过负载均衡配置实现会话保持
- 不同场景下容器内获取客户端源IP
- 通过配置容器内核参数增大监听队列长度
- 为负载均衡类型的Service配置pass-through能力
- 从Pod访问集群外部网络
- 通过模板包部署Nginx Ingress Controller
- CoreDNS配置优化实践
- CCE Turbo配置容器网卡动态预热
- 集群通过企业路由器连接对端VPC
- 在VPC网络集群中访问集群外地址时使用Pod IP作为客户端源IP
- 存储
- 容器
- 权限
- 发布
- 批量计算
- API参考
- SDK参考
-
常见问题
- 高频常见问题
- 计费类
- 集群
-
节点
- 节点创建
-
节点运行
- 集群可用但节点状态为“不可用”如何解决?
- CCE集群中的节点无法远程登录,如何排查解决?
- 如何重置CCE集群中节点的密码?
- 如何收集CCE集群中节点的日志?
- 如何解决yum update升级操作系统导致的容器网络不可用问题?
- Node节点vdb盘受损,通过重置节点仍无法恢复节点?
- CCE集群节点中安装kubelet的端口主要有哪些?
- 如何配置Pod使用GPU节点的加速能力?
- 容器使用SCSI类型云硬盘偶现IO卡住如何解决?
- docker审计日志量过大影响磁盘IO如何解决?
- thinpool磁盘空间耗尽导致容器或节点异常时,如何解决?
- CCE节点上监听的端口列表
- GPU节点使用nvidia驱动启动容器排查思路
- CCE节点NTP时间不同步如何解决?
- Containerd节点业务容器标准输出日志写入过快导致节点数据盘使用率过高
- 为什么kubectl top命令查看节点内存使用超过100%?
- CCE节点事件中一直出现“镜像回收失败”告警如何解决?
- 规格配置变更
- 操作系统问题说明
- 节点池
- 工作负载
-
网络管理
-
网络异常问题排查
- 工作负载网络异常时,如何定位排查?
- 集群内部无法使用ELB地址访问负载
- 集群外部访问Ingress异常
- 为什么访问部署的应用时浏览器返回404错误码?
- 为什么容器无法连接互联网?
- VPC的子网无法删除,怎么办?
- 如何修复出现故障的容器网卡?
- 节点无法连接互联网(公网),如何排查定位?
- 如何解决VPC网段与容器网络冲突的问题?
- ELB四层健康检查导致java报错:Connection reset by peer
- Service事件:Have no node to bind,如何排查?
- 为什么登录虚拟机VNC界面会间歇性出现Dead loop on virtual device gw_11cbf51a, fix it urgently?
- 集群节点使用networkpolicy概率性出现panic问题
- 节点远程登录界面(VNC)打印较多source ip_type日志问题
- 使用IE浏览器访问nginx-ingress出现重定向308无法访问
- NGINX Ingress控制器插件升级导致集群内Nginx类型的Ingress路由访问异常
- 负载均衡型Service更新出现错误:Quota exceeded for resources: members_per_pool
- 为ELB Ingress配置了HTTPS证书后访问异常的原因有哪些?
- 网络规划
- 安全加固
- 网络指导
-
网络异常问题排查
-
存储管理
- 如何扩容容器的存储空间?
- CCE支持的存储在持久化和多节点挂载方面的有什么区别?
- 创建CCE节点时可以不添加数据盘吗?
- CCE集群中的EVS存储卷被删除或者过期后是否可以恢复?
- 公网访问CCE部署的服务并上传OBS,为何报错找不到host?
- Pod接口ExtendPathMode: PodUID如何与社区client-go兼容?
- 创建存储卷失败如何解决?
- CCE容器云存储PVC能否感知底层存储故障?
- 通用文件存储(SFS 3.0)在OS中的挂载点修改属组及权限报错
- 无法使用kubectl命令删除PV或PVC
- 删除挂载了云存储的Pod时提示target is busy
- 无法自动创建包周期的云硬盘存储卷
- 命名空间
-
模板插件
- 集群安装nginx-ingress插件失败,一直处于创建中?
- NPD插件版本过低导致进程资源残留问题
- 模板格式不正确,无法删除模板实例?
- CCE是否支持nginx-ingress?
- 插件安装失败,提示The release name is already exist如何解决?
- 创建或升级实例失败,提示rendered manifests contain a resource that already exists
- kube-prometheus-stack插件实例调度失败如何解决?
- 上传模板失败如何解决?
- 如何根据集群规格调整插件配额?
- NGINX Ingress控制器插件处于Unknown状态时卸载残留
- NGINX Ingress控制器插件升级后无法使用TLS v1.0和v1.1
- API&kubectl
- 域名DNS
- 镜像仓库
- 权限
- 相关服务
- 视频帮助
-
更多文档
-
用户指南(阿布扎比区域)
- 产品介绍
- 快速入门
- 高危操作及解决方案
-
集群
- 集群概述
- 购买集群
- 连接集群
-
升级集群
- 升级概述
- 升级前须知
- 原地升级
- 升级后验证
- 集群跨版本业务迁移
-
升级前检查异常问题排查
- 升级前检查项
- 节点限制检查
- 升级管控检查
- 插件检查
- Helm模板检查
- Master节点SSH联通性检查
- 节点池检查
- 安全组检查
- ARM节点限制检查
- 残留待迁移节点检查
- K8s废弃资源检查
- 兼容性风险检查
- 节点CCE Agent版本检查
- 节点CPU使用率检查
- CRD检查
- 节点磁盘检查
- 节点DNS检查
- 节点关键目录文件权限检查
- 节点Kubelet检查
- 节点内存检查
- 节点时钟同步服务器检查
- 节点OS检查
- 节点CPU数量检查
- 节点Python命令检查
- ASM网格版本检查
- 节点Ready检查
- 节点journald检查
- 节点干扰ContainerdSock检查
- 内部错误
- 节点挂载点检查
- K8s节点污点检查
- everest插件版本限制检查
- cce-hpa-controller插件限制检查
- 增强型CPU管理策略检查
- 用户节点组件健康检查
- 控制节点组件健康检查
- K8s组件内存资源限制检查
- K8s废弃API检查
- CCE Turbo集群IPv6能力检查
- 节点NetworkManager检查
- 节点ID文件检查
- 节点配置一致性检查
- 节点配置文件检查
- CoreDNS配置一致性检查
- 节点Sudo检查
- 节点关键命令检查
- 节点sock文件挂载检查
- HTTPS类型负载均衡证书一致性检查
- 节点挂载检查
- 节点paas用户登录权限检查
- ELB IPv4私网地址检查
- 检查历史升级记录是否满足升级条件
- 检查集群管理平面网段是否与主干配置一致
- GPU插件检查
- 节点系统参数检查
- 残留packageversion检查
- 节点命令行检查
- 节点交换区检查
- nginx-ingress插件升级检查
- 管理集群
- 节点
- 节点池
- 工作负载
- 调度
- 网络
- 存储
- 可观测性
- 命名空间
- 配置项与密钥
- 弹性伸缩
- 插件
- 模板(Helm Chart)
- 权限
- 最佳实践
- 常见问题
- API参考(阿布扎比区域)
-
用户指南(巴黎区域)
- 产品介绍
- 产品公告
- Kubernetes基础知识
- 快速入门
- 高危操作及解决方案
-
集群
- 集群概述
- 创建集群
- 连接集群
-
升级集群
- 升级概述
- 升级前须知
- 原地升级
- 升级后验证
- 集群跨版本业务迁移
-
升级前检查异常问题排查
- 升级前检查项
- 节点限制检查
- 升级管控检查
- 插件检查
- Helm模板检查
- Master节点SSH联通性检查
- 节点池检查
- 安全组检查
- ARM节点限制检查
- 残留待迁移节点检查
- K8s废弃资源检查
- 兼容性风险检查
- 节点CCE Agent版本检查
- 节点CPU使用率检查
- CRD检查
- 节点磁盘检查
- 节点DNS检查
- 节点关键目录文件权限检查
- 节点Kubelet检查
- 节点内存检查
- 节点时钟同步服务器检查
- 节点OS检查
- 节点CPU数量检查
- 节点Python命令检查
- ASM网格版本检查
- 节点Ready检查
- 节点journald检查
- 节点干扰ContainerdSock检查
- 内部错误
- 节点挂载点检查
- K8s节点污点检查
- everest插件版本限制检查
- cce-hpa-controller插件限制检查
- 增强型CPU管理策略检查
- 用户节点组件健康检查
- 控制节点组件健康检查
- K8s组件内存资源限制检查
- K8s废弃API检查
- CCE Turbo集群IPv6能力检查
- 节点NetworkManager检查
- 节点ID文件检查
- 节点配置一致性检查
- 节点配置文件检查
- CoreDNS配置一致性检查
- 节点Sudo检查
- 节点关键命令检查
- 节点sock文件挂载检查
- HTTPS类型负载均衡证书一致性检查
- 节点挂载检查
- 节点paas用户登录权限检查
- ELB IPv4私网地址检查
- 检查历史升级记录是否满足升级条件
- 检查集群管理平面网段是否与主干配置一致
- GPU插件检查
- 节点系统参数检查
- 残留packageversion检查
- 节点命令行检查
- 节点交换区检查
- nginx-ingress插件升级检查
- 管理集群
- 节点
- 节点池
- 工作负载
- 调度
- 网络
- 存储
- 可观测性
- 命名空间
- 配置项与密钥
- 弹性伸缩
- 插件
- 模板(Helm Chart)
- 权限
- 常见问题
- 最佳实践
- 将老版本的数据迁移到最新版本
- API参考 (巴黎区域)
-
用户指南(吉隆坡区域)
- 产品介绍
- 控制台风格升级说明
- 快速入门
- 高危操作一览
-
集群
- 集群概述
- 购买集群
- 连接集群
- 管理集群
-
升级集群
- 升级集群的流程和方法
- 升级前须知
- 升级后验证
- 集群跨版本业务迁移
-
升级前检查异常问题排查
- 升级前检查项
- 节点限制检查异常处理
- 升级管控检查异常处理
- 插件检查异常处理
- Helm模板检查异常处理
- Master节点SSH联通性检查异常处理
- 节点池检查异常处理
- 安全组检查异常处理
- ARM节点限制检查异常处理
- 残留待迁移节点检查异常处理
- K8s废弃资源检查异常处理
- 兼容性风险检查异常处理
- 节点CCE Agent版本检查异常处理
- 节点CPU使用率检查异常处理
- CRD检查异常处理
- 节点磁盘检查异常处理
- 节点DNS检查异常处理
- 节点关键目录文件权限检查异常处理
- 节点Kubelet检查异常处理
- 节点内存检查异常处理
- 节点时钟同步服务器检查异常处理
- 节点OS检查异常处理
- 节点CPU数量检查异常处理
- 节点Python命令检查异常处理
- ASM网格版本检查异常处理
- 节点Ready检查异常处理
- 节点journald检查异常处理
- 节点干扰ContainerdSock检查异常处理
- 内部错误异常处理
- 节点挂载点检查异常处理
- K8s节点污点检查异常处理
- everest插件版本限制检查异常处理
- cce-hpa-controller插件限制检查异常处理
- 增强型CPU管理策略检查异常处理
- 用户节点组件健康检查异常处理
- 控制节点组件健康检查异常处理
- K8s组件内存资源限制检查异常处理
- K8s废弃API检查异常处理
- 节点NetworkManager检查异常处理
- 节点ID文件检查异常处理
- 节点配置一致性检查异常处理
- 节点配置文件检查异常处理
- CoreDNS配置一致性检查异常处理
- 节点Sudo检查异常处理
- 节点关键命令检查异常处理
- 节点sock文件挂载检查异常处理
- HTTPS类型负载均衡证书一致性检查异常处理
- 节点挂载检查异常处理
- 节点paas用户登录权限检查异常处理
- ELB IPv4私网地址检查异常处理
- 检查历史升级记录是否满足升级条件
- 检查集群管理平面网段是否与主干配置一致
- GPU插件检查异常处理
- 节点系统参数检查异常处理
- 残留packageversion检查异常处理
- 节点命令行检查异常处理
- 节点交换区检查异常处理
- nginx-ingress插件升级检查异常处理
- 云原生监控插件升级检查异常处理
- Containerd Pod重启风险检查异常处理
- GPU插件关键参数检查异常处理
- GPU/NPU Pod重建风险检查异常处理
- ELB监听器访问控制配置项检查异常处理
- Master节点规格检查异常处理
- Master节点子网配额检查异常处理
- 节点运行时检查异常处理
- 节点池运行时检查异常处理
- 检查节点镜像数量异常处理
- 节点
- 节点池
- 工作负载
- 调度
- 网络
- 存储
- 可观测性
- 弹性伸缩
- 命名空间
- 配置项与密钥
- 插件
- 模板(Helm Chart)
- 权限
- 最佳实践
- 常见问题
- API参考(吉隆坡区域)
-
用户指南(安卡拉区域)
- 产品介绍
- 产品公告
- 快速入门
- 高危操作及解决方案
-
集群
- 集群概述
- 创建集群
- 连接集群
-
升级集群
- 升级概述
- 升级前须知
- 升级后验证
- 集群跨版本业务迁移
-
升级前检查异常问题排查
- 升级前检查项
- 节点限制检查
- 升级管控检查
- 插件检查
- Helm模板检查
- Master节点SSH连通性检查异常处理
- 节点池检查
- 安全组检查
- ARM节点限制检查
- 残留待迁移节点检查
- K8s废弃资源检查
- 兼容性风险检查
- 节点CCE Agent版本检查
- 节点CPU使用率检查
- CRD检查
- 节点磁盘检查
- 节点DNS检查
- 节点关键目录文件权限检查
- 节点Kubelet检查
- 节点内存检查
- 节点时钟同步服务器检查
- 节点OS检查
- 节点CPU数量检查异常处理
- 节点Python命令检查
- ASM网格版本检查
- 节点Ready检查
- 节点journald检查
- 节点干扰ContainerdSock检查
- 内部错误异常处理
- 节点挂载点检查
- K8s节点污点检查
- everest插件版本限制检查
- cce-hpa-controller插件限制检查异常处理
- 增强型CPU管理策略检查
- 用户节点组件健康检查异常处理
- 控制节点组件健康检查异常处理
- K8s组件内存资源限制检查
- K8s废弃API检查
- 节点NetworkManager检查
- 节点ID文件检查
- 节点配置一致性检查
- 节点配置文件检查
- CoreDNS配置一致性检查
- 节点Sudo检查
- 节点关键命令检查
- 节点sock文件挂载检查
- HTTPS类型负载均衡证书一致性检查
- 节点挂载检查
- 节点paas用户登录权限检查
- ELB IPv4私网地址检查
- 检查历史升级记录是否满足升级条件
- 检查集群管理平面网段是否与主干配置一致
- GPU插件检查
- 节点系统参数检查异常处理
- 残留packageversion检查
- 节点命令行检查
- 节点交换区检查异常处理
- nginx-ingress插件升级检查
- 云原生监控插件升级检查异常处理
- Containerd Pod重启风险检查异常处理
- GPU插件关键参数检查异常处理
- GPU/NPU Pod重建风险检查异常处理
- ELB监听器访问控制配置项检查异常处理
- Master节点规格检查异常处理
- Master节点子网配额检查异常处理
- 节点运行时检查异常处理
- 节点池运行时检查异常处理
- 检查节点镜像数量异常处理
- 管理集群
- 节点
- 节点池
- 工作负载
- 调度
- 网络
- 存储
- 可观测性
- 命名空间
- 配置项与密钥
- 弹性伸缩
- 插件
- 模板(Helm Chart)
- 权限
- 常见问题
- 最佳实践
- API参考(安卡拉区域)
-
用户指南(阿布扎比区域)
- 通用参考
链接复制成功!
使用Nginx Ingress实现灰度发布和蓝绿发布
本文将介绍使用Nginx Ingress实现灰度发布和蓝绿发布的应用场景、用法详解及实践步骤。
应用场景
使用Nginx Ingress实现灰度发布适用场景主要取决于业务流量切分的策略,目前Nginx Ingress支持基于Header、Cookie和服务权重三种流量切分的策略,基于这三种策略可实现以下两种发布场景:
- 场景一:切分部分用户流量到新版本
假设线上已运行了一套对外提供七层服务的Service A,此时开发了一些新的特性,需要发布上线一个新的版本Service A',但又不想直接替换原有的Service A,而是期望将Header中包含foo=bar或者Cookie中包含foo=bar的用户请求转发到新版本Service A'中。待运行一段时间稳定后,再逐步全量上线新版本,平滑下线旧版本。示意图如下:
- 场景二:切分一定比例的流量到新版本
假设线上已运行了一套对外提供七层服务的Service B,此时修复了一些问题,需要发布上线一个新的版本Service B',但又不想直接替换原有的Service B,而是期望将20%的流量切换到新版本Service B'中。待运行一段时间稳定后,再将所有的流量从旧版本切换到新版本中,平滑下线旧版本。
注解说明
Nginx Ingress支持通过配置注解(Annotations)来实现不同场景下的发布和测试,可以满足灰度发布、蓝绿发布、A/B测试等业务场景。具体实现过程如下:为服务创建两个Ingress,一个为常规Ingress,另一个为带nginx.ingress.kubernetes.io/canary: "true"注解的Ingress,称为Canary Ingress;为Canary Ingress配置流量切分策略Annotation,两个Ingress相互配合,即可实现多种场景的发布和测试。Nginx Ingress的Annotation支持以下几种规则:
- nginx.ingress.kubernetes.io/canary-by-header
基于Header的流量切分,适用于灰度发布。如果请求头中包含指定的header名称,并且值为“always”,就将该请求转发给Canary Ingress定义的对应后端服务。如果值为“never”则不转发,可用于回滚到旧版本。如果为其他值则忽略该annotation,并通过优先级将请求流量分配到其他规则。
- nginx.ingress.kubernetes.io/canary-by-header-value
必须与canary-by-header一起使用,可自定义请求头的取值,包含但不限于“always”或“never”。当请求头的值命中指定的自定义值时,请求将会转发给Canary Ingress定义的对应后端服务,如果是其他值则忽略该annotation,并通过优先级将请求流量分配到其他规则。
- nginx.ingress.kubernetes.io/canary-by-header-pattern
与canary-by-header-value类似,唯一区别是该annotation用正则表达式匹配请求头的值,而不是某一个固定值。如果该annotation与canary-by-header-value同时存在,该annotation将被忽略。
- nginx.ingress.kubernetes.io/canary-by-cookie
基于Cookie的流量切分,适用于灰度发布。与canary-by-header类似,该annotation用于cookie,仅支持“always”和“never”,无法自定义取值。
- nginx.ingress.kubernetes.io/canary-weight
基于服务权重的流量切分,适用于蓝绿部署。表示Canary Ingress所分配流量的百分比,取值范围[0-100]。例如,设置为100,表示所有流量都将转发给Canary Ingress对应的后端服务。
- 以上注解规则会按优先级进行评估,优先级为:canary-by-header -> canary-by-cookie -> canary-weight。
- 当Ingress被标记为Canary Ingress时,除了nginx.ingress.kubernetes.io/load-balance和nginx.ingress.kubernetes.io/upstream-hash-by外,所有其他非Canary的注解都将被忽略。
- 更多内容请参阅官方文档Annotations。
前提条件
- 使用Nginx Ingress实现灰度发布的集群,需安装nginx-ingress插件作为Ingress Controller,并且对外暴露统一的流量入口。详细操作可参考安装插件。
- 已上传Nginx镜像至容器镜像服务。为方便观测流量切分效果,Nginx镜像包含新旧两个版本,欢迎页分别为“Old Nginx”和“New Nginx”。
资源创建方式
本文提供以下两种方式使用YAML部署Deployment和Service:
- 方式1:在创建无状态工作负载向导页面,单击右侧“YAML创建”,再将本文示例的YAML文件内容输入编辑窗中。
- 方式2:将本文的示例YAML保存为文件,再使用kubectl指定YAML文件进行创建。例如:kubectl create -f xxx.yaml。
步骤1:部署两个版本的服务
在集群中部署两个版本的Nginx服务,并通过Nginx Ingress对外提供七层域名访问。
- 创建第一个版本的Deployment和Service,本文以old-nginx为例。YAML示例如下:
apiVersion: apps/v1 kind: Deployment metadata: name: old-nginx spec: replicas: 2 selector: matchLabels: app: old-nginx template: metadata: labels: app: old-nginx spec: containers: - image: {your_repository}/nginx:old # 容器使用的镜像为:nginx:old name: container-0 resources: limits: cpu: 100m memory: 200Mi requests: cpu: 100m memory: 200Mi imagePullSecrets: - name: default-secret --- apiVersion: v1 kind: Service metadata: name: old-nginx spec: selector: app: old-nginx ports: - name: service0 targetPort: 80 port: 8080 protocol: TCP type: NodePort
- 创建第二个版本的Deployment和Service,本文以new-nginx为例。YAML示例如下:
apiVersion: apps/v1 kind: Deployment metadata: name: new-nginx spec: replicas: 2 selector: matchLabels: app: new-nginx template: metadata: labels: app: new-nginx spec: containers: - image: {your_repository}/nginx:new # 容器使用的镜像为:nginx:new name: container-0 resources: limits: cpu: 100m memory: 200Mi requests: cpu: 100m memory: 200Mi imagePullSecrets: - name: default-secret --- apiVersion: v1 kind: Service metadata: name: new-nginx spec: selector: app: new-nginx ports: - name: service0 targetPort: 80 port: 8080 protocol: TCP type: NodePort
您可以登录云容器引擎控制台看部署情况。
- 创建Ingress,对外暴露服务,指向old版本的服务。YAML示例如下:
apiVersion: networking.k8s.io/v1 kind: Ingress metadata: name: gray-release namespace: default annotations: kubernetes.io/elb.port: '80' spec: rules: - host: www.example.com http: paths: - path: / backend: service: name: old-nginx # 指定后端服务为old-nginx port: number: 80 property: ingress.beta.kubernetes.io/url-match-mode: STARTS_WITH pathType: ImplementationSpecific ingressClassName: nginx # 表示使用Nginx Ingress
- 执行以下命令,进行访问验证。
curl -H "Host: www.example.com" http://<EXTERNAL_IP>
其中,<EXTERNAL_IP>为Nginx Ingress对外暴露的IP。
预期输出:
Old Nginx
步骤2:灰度发布新版本服务
设置访问新版本服务的流量切分策略。云容器引擎CCE支持设置以下三种策略,实现灰度发布和蓝绿发布,您可以根据实际情况进行选择。
基于Header的流量切分、基于Cookie的流量切分、基于服务权重的流量切分
基于Header、Cookie和服务权重三种流量切分策略均可实现灰度发布;基于服务权重的流量切分策略,调整新服务权重为100%,即可实现蓝绿发布。您可以在下述示例中了解具体使用方法。
示例中,有以下两点需要注意:
- 相同服务的Canary Ingress仅能够定义一个,从而使后端服务最多支持两个版本。
- 即使流量完全切到了Canary Ingress上,旧版服务仍需存在,否则会出现报错。
- 基于Header的流量切分
以下示例仅Header中包含Region且值为bj或gz的请求才能转发到新版本服务。
- 创建Canary Ingress,指向新版本的后端服务,并增加annotation。
apiVersion: networking.k8s.io/v1 kind: Ingress metadata: name: canary-ingress namespace: default annotations: nginx.ingress.kubernetes.io/canary: "true" # 启用Canary nginx.ingress.kubernetes.io/canary-by-header: "Region" nginx.ingress.kubernetes.io/canary-by-header-pattern: "bj|gz" # Header中包含Region且值为bj或gz的请求转发到Canary Ingress kubernetes.io/elb.port: '80' spec: rules: - host: www.example.com http: paths: - path: / backend: service: name: new-nginx # 指定后端服务为new-nginx port: number: 80 property: ingress.beta.kubernetes.io/url-match-mode: STARTS_WITH pathType: ImplementationSpecific ingressClassName: nginx # 表示使用Nginx Ingress
- 执行以下命令,进行访问测试。
$ curl -H "Host: www.example.com" -H "Region: bj" http://<EXTERNAL_IP> New Nginx $ curl -H "Host: www.example.com" -H "Region: sh" http://<EXTERNAL_IP> Old Nginx $ curl -H "Host: www.example.com" -H "Region: gz" http://<EXTERNAL_IP> New Nginx $ curl -H "Host: www.example.com" http://<EXTERNAL_IP> Old Nginx
其中,<EXTERNAL_IP>为Nginx Ingress对外暴露的IP。
可以看出,仅当Header中包含Region且值为bj或gz的请求才由新版本服务响应。
- 创建Canary Ingress,指向新版本的后端服务,并增加annotation。
- 基于Cookie的流量切分
以下示例仅Cookie中包含user_from_bj的请求才能转发到新版本服务。
- 创建Canary Ingress,指向新版本的后端服务,并增加annotation。
说明:
若您已在上述步骤创建Canary Ingress,则请删除后再参考本步骤创建。
apiVersion: networking.k8s.io/v1 kind: Ingress metadata: name: canary-ingress namespace: default annotations: nginx.ingress.kubernetes.io/canary: "true" # 启用Canary nginx.ingress.kubernetes.io/canary-by-cookie: "user_from_bj" # Cookie中包含user_from_bj的请求转发到Canary Ingress kubernetes.io/elb.port: '80' spec: rules: - host: www.example.com http: paths: - path: / backend: service: name: new-nginx # 指定后端服务为new-nginx port: number: 80 property: ingress.beta.kubernetes.io/url-match-mode: STARTS_WITH pathType: ImplementationSpecific ingressClassName: nginx # 表示使用Nginx Ingress
- 执行以下命令,进行访问测试。
$ curl -s -H "Host: www.example.com" --cookie "user_from_bj=always" http://<EXTERNAL_IP> New Nginx $ curl -s -H "Host: www.example.com" --cookie "user_from_gz=always" http://<EXTERNAL_IP> Old Nginx $ curl -s -H "Host: www.example.com" http://<EXTERNAL_IP> Old Nginx
其中,<EXTERNAL_IP>为Nginx Ingress对外暴露的IP。
可以看出,仅当Cookie中包含user_from_bj且值为always的请求才由新版本服务响应。
- 创建Canary Ingress,指向新版本的后端服务,并增加annotation。
- 基于服务权重的流量切分
示例1:仅允许20%的流量被转发到新版本服务中,实现灰度发布。
- 创建Canary Ingress,并增加annotation,将20%的流量导入新版本的后端服务。
说明:
若您已在上述步骤创建Canary Ingress,则请删除后再参考本步骤创建。
apiVersion: networking.k8s.io/v1 kind: Ingress metadata: name: canary-ingress namespace: default annotations: nginx.ingress.kubernetes.io/canary: "true" # 启用Canary nginx.ingress.kubernetes.io/canary-weight: "20" # 将20%的流量转发到Canary Ingress kubernetes.io/elb.port: '80' spec: rules: - host: www.example.com http: paths: - path: / backend: service: name: new-nginx # 指定后端服务为new-nginx port: number: 80 property: ingress.beta.kubernetes.io/url-match-mode: STARTS_WITH pathType: ImplementationSpecific ingressClassName: nginx # 表示使用Nginx Ingress
- 执行以下命令,进行访问测试。
$ for i in {1..20}; do curl -H "Host: www.example.com" http://<EXTERNAL_IP>; done; Old Nginx Old Nginx Old Nginx New Nginx Old Nginx New Nginx Old Nginx New Nginx Old Nginx Old Nginx Old Nginx Old Nginx Old Nginx New Nginx Old Nginx Old Nginx Old Nginx Old Nginx Old Nginx Old Nginx
其中,<EXTERNAL_IP>为Nginx Ingress对外暴露的IP。
可以看出,有4/20的几率由新版本服务响应,符合20%服务权重的设置。
说明:
基于权重(20%)进行流量切分后,访问到新版本的概率接近20%,流量比例可能会有小范围的浮动,这属于正常现象。
示例2:允许所有的流量被转发到新版本服务中,实现蓝绿发布。
- 创建Canary Ingress,并增加annotation,将100%的流量导入新版本的后端服务。
说明:
若您已在上述步骤创建Canary Ingress,则请删除后再参考本步骤创建。
apiVersion: networking.k8s.io/v1 kind: Ingress metadata: name: canary-ingress namespace: default annotations: nginx.ingress.kubernetes.io/canary: "true" # 启用Canary nginx.ingress.kubernetes.io/canary-weight: "100" # 所有流量均转发到Canary Ingress kubernetes.io/elb.port: '80' spec: rules: - host: www.example.com http: paths: - path: / backend: service: name: new-nginx # 指定后端服务为new-nginx port: number: 80 property: ingress.beta.kubernetes.io/url-match-mode: STARTS_WITH pathType: ImplementationSpecific ingressClassName: nginx # 表示使用Nginx Ingress
- 执行以下命令,进行访问测试。
$ for i in {1..10}; do curl -H "Host: www.example.com" http://<EXTERNAL_IP>; done; New Nginx New Nginx New Nginx New Nginx New Nginx New Nginx New Nginx New Nginx New Nginx New Nginx
其中,<EXTERNAL_IP>为Nginx Ingress对外暴露的IP。
可以看出,所有的访问均由新版本服务响应,成功实现了蓝绿发布。
- 创建Canary Ingress,并增加annotation,将20%的流量导入新版本的后端服务。