UCS舰队级CCE集群升级策略与维护窗口最佳实践
UCS（分布式云原生服务）支持将多个CCE集群纳入统一的容器舰队进行管理。本文基于CCE单集群的自动补丁升级与维护窗口机制，介绍如何在舰队层面编排集群升级策略、合理设置维护窗口，以保障升级期间的业务连续性。
方案概述
当多个CCE集群通过UCS组成舰队后，集群升级从单集群运维操作上升为舰队级编排问题。需要统一规划以下事项：
- 各集群的升级先后顺序
- 升级异常时的影响隔离与回滚策略
- 升级期间的业务流量保障
- 维护窗口的时间编排
本方案的核心原则为：分层验证、逐步推进、窗口错开、备份先行。
前提条件
- 舰队内的CCE集群版本为v1.19及以上，支持原地升级。
- 各集群已在CCE控制台配置维护时间窗口。
- 集群已开启自动补丁升级功能。
- 建议各集群所在Region已支持EVS快照备份能力。
升级类型说明
CCE 集群版本号由Kubernetes大版本（如 v1.31）和CCE补丁版本两部分构成，对应两种升级类型。两种类型在舰队场景下应采用不同的策略。
| 升级类型 | 特点 | 舰队策略 |
|---|---|---|
| 补丁版本升级 | 风险低，可直接从任意旧补丁版本升级至最新版本，建议每季度一次。 | 开启自动补丁升级，通过维护窗口控制执行时机。 |
| Kubernetes大版本升级 | 涉及API变更、功能废弃及插件兼容性。 | 手动逐层推进，人工审核把关。 |
大版本升级前，CCE要求补丁版本更新至最新后，方可执行Kubernetes大版本升级。
舰队升级策略：分层验证与逐步推进
舰队级升级采用分层推进机制，将舰队内的集群按角色划分为多个层级，按顺序依次升级，每层验证通过后方可推进下一层。
集群分层
根据集群承载业务的重要性，将舰队内的集群划分为以下层级：
| 层级 | 集群角色 | 说明 |
|---|---|---|
| 第一层 | 测试集群 | 选取1-2个非关键业务集群或测试集群，最先执行升级，用于提前验证升级的安全性。 |
| 第二层 | 预生产集群 | 运行接近生产环境工作负载的集群，验证升级对实际业务的影响。 |
| 第三层 | 生产集群（分批次） | 按业务优先级或Region分批升级，每批之间保持观察间隔。 |
推进流程
各层级的推进关系如下：
第一层：测试集群升级
│
├── 稳定运行24-48小时 ──→ 验证通过
│
第二层：预生产集群升级
│
├── 稳定运行24小时 ──→ 验证通过
│
第三层-批次1：生产集群（Region A）升级
│
├── 稳定运行 ──→ 验证通过
│
第三层-批次2：生产集群（Region B）升级 每完成一层集群的升级后，需设置明确的Go/No-Go决策节点。只有当前层的所有集群均通过业务验证，且稳定运行了规定的观察期后，方可放行下一层的升级。
若舰队中包含多个Region的集群，建议按Region分批升级。当某个Region的升级出现问题时，其他Region的集群可通过UCS的流量调度能力继续承载业务。
维护窗口设置
CCE的自动补丁升级功能会根据用户设定的集群维护时间窗口生成升级计划，并在窗口内自动完成升级任务。在舰队场景下，维护窗口的合理设置是升级策略落地的关键。
窗口时段选择
维护窗口应设在业务低谷时段。升级期间API Server会短暂中断，正在升级的节点将被标记为不可调度，因此窗口应避开业务高峰。
- 对于工作日流量较低的业务，建议设为周末凌晨02:00-06:00。
- 对于全球化业务，需根据各Region的流量低谷分别设置。
窗口时长规划
维护窗口应预留足够的时间完成升级。控制节点升级通常在分钟级即可完成，但工作节点升级耗时与集群规模成正比。
若升级未能在窗口内完成，CCE会暂停升级，在下一个维护窗口继续执行。不建议将窗口设置过短，频繁的中断-恢复会增加运维复杂度和故障风险。
舰队内窗口错开
同一舰队内的集群，维护窗口不应重叠。 若所有集群同时进入升级窗口，一旦升级引入问题，将没有健康集群可供承接业务流量。
推荐的窗口错开方案如下：
| 集群角色 | 维护窗口（示例） | 设计意图 |
|---|---|---|
| 测试集群 | 周三 02:00-06:00 | 最先升级，预留工作日排查时间。 |
| 预生产集群 | 周五 02:00-06:00 | 测试集群验证通过后进入。 |
| 生产集群-批次1 | 周六 02:00-06:00 | 第一批生产集群 |
| 生产集群-批次2 | 下周六 02:00-06:00 | 第二批生产集群，间隔一周。 |
上述日期仅为示例，请根据实际业务低谷期进行调整。核心原则为相邻层级之间留出足够的观察间隔。
排除窗口设置
以下时段应暂停所有自动升级计划，大版本升级应严格禁止：
- 业务大促期间（如双11、618前后各一周）
- 财务结算周期（月末、季末、年末）
- 重大版本上线前后48小时
- 法定节假日
节点升级参数配置
CCE提供了节点升级的多项配置参数。在舰队场景下，建议按集群角色进行差异化配置。
| 配置项 | 测试集群 | 生产集群 |
|---|---|---|
| 每批最大升级节点数 | 较小值（如 10） | 适当提高（如40-60） |
| 节点升级批次应用范围 | 节点池级别（便于问题定位） | 集群级别（全局有序可控） |
| 节点优先级配置 | 启用，负载较轻的节点优先升级 | 可根据业务需要配置 |
备份要求
无论是哪种集群角色，升级前均应在控制台一键触发EVS快照备份。
| 备份方式 | 备份时间 | 恢复时间 | 说明 |
|---|---|---|---|
| etcd数据备份 | 1-5 分钟 | 约 2 小时 | 升级过程中自动执行，无需手动操作。 |
| EVS快照备份 | 1-5 分钟 | 约 20 分钟 | 需在控制台手动触发，推荐使用。 |
升级验证
CCE在单集群维度已提供升级前检查和升级后验证能力。在舰队层面，建议增加以下验证环节。
升级前--舰队健康巡检
- 通过UCS的容器智能分析功能，确认舰队内各集群的健康状态。
- 确保没有集群处于异常状态，没有正在进行中的高危操作（如变更集群规格、通过ELB控制台修改CCE管理的监听器配置等）。
- 确认配置中心近10分钟内未修改过集群配置，否则可能因操作冲突导致升级失败。
升级后--业务验证
除CCE自动执行的集群状态检查和节点状态检查外，还需手动验证以下事项：
- 新建节点是否正常加入集群
- 新建Pod是否正常调度
- 跨集群的流量分发是否正常工作
- Karmada联邦层面的资源分发状态是否一致
层间验证--推进决策
每完成一层集群的升级，需确认以下条件后方可推进下一层：
- 当前层的所有集群均通过上述业务验证
- 稳定运行时间达到规定的观察期（测试集群建议24-48小时，预生产集群建议24小时）
- 无业务异常告警
大版本升级的舰队编排
补丁版本升级可交由自动化处理。大版本升级需手动编排，推荐流程如下：
- 统一规划：确定目标版本，阅读CCE 集群版本发布说明，识别API变更和功能废弃项。在舰队层面统一排查所有集群中是否使用了目标版本废弃的API。详细的废弃API说明请参见升级前须知。
- 补丁对齐：通过自动补丁升级功能配合维护窗口，将所有集群升级至当前大版本的最新补丁。
- 测试验证：在测试集群上执行大版本升级，观察48-72小时。重点关注以下事项：
- API兼容性
- 插件运行状态（若插件无法同时兼容升级前后的版本，升级期间可能短暂不可用）
- 自定义Controller和Operator的行为
- 逐层推进：按照测试→预生产→生产分批的策略逐步推进，每批之间保持至少一周的观察期。
- 证书更新（可选）：若集群证书即将过期，可在升级过程中同步更新CCE集群证书（有效期5年）。
若集群开启了OpenID Connect提供商功能且此前获取过CCE集群签名公钥，升级完成后需重新获取，否则会导致OIDC身份认证失效。
