# 修改CCE集群配置 集群配置参数是分布式系统中用于定义节点行为、资源分配、通信规则、扩展策略等的底层规则集，会影响集群的性能、稳定性、扩展性和容错能力。通过调整CCE集群的配置参数，您可以对核心组件进行深度配置。集群配置参数主要分为以下几类，您可以根据需求进行调整。 表1集群配置参数分类 | 类别 | 说明 | |:---|:---| | [集群服务器配置（kube-apiserver）] | 主要用于控制集群的资源调度、请求管理、安全性和功能开关，确保集群能够高效运行，合理分配资源。 修改kube-apiserver的参数会导致集群重启并断开已有长连接，请根据您的业务需求谨慎操作。 | | [调度器配置（kube-scheduler）] | 主要用于管理和优化集群中的资源调度、请求控制以及GPU资源的分配。您可以根据集群负载和资源需求动态调整调度策略，确保集群的高效运行和资源的最大化利用。 | | [集群控制器配置（kube-controller-manager）] | 主要用于控制集群中不同控制器的行为和同步频率，优化集群资源管理和任务调度。 | | [网络组件配置（eni）（仅CCE Turbo集群支持）] | 主要用于控制和优化CCE Turbo集群中网络资源的管理，特别是在高负载和大规模集群中，确保网络的高效运行和资源的合理分配。 | | [网络组件配置（eni）（仅VPC网络模型的集群支持）] | 主要用于控制和优化VPC网络模型的集群网络配置。 | | [网络组件配置（canal-controller）（仅容器隧道网络模型的集群支持）] | 主要用于控制和优化容器隧道网络模型的集群网络配置。 | | [扩展控制器配置（仅v1.21及以上版本集群支持）] | 主要用于限制命名空间内的资源使用，确保资源分配的公平性和合理性。 | | [集群kube-proxy组件配置（仅IPVS集群支持）] | 主要用于控制集群中默认节点池下节点的IPVS调度策略。 | #### 配置集群配置参数的操作指导 您可以通过以下方式进行配置。 - [通过控制台配置] 1. 登录[CCE控制台](https://console.huaweicloud.com/cce2.0/?#/cce/cluster/list)，在左侧导航栏中选择"集群管理"。 2. 找到目标集群，查看集群的更多操作，并选择"配置管理"。通过"配置管理"可以修改Kubernetes原生组件和自研组件的配置参数，从而灵活满足您的需求。 图1配置管理 ![](https://support.huaweicloud.com/usermanual-cce/zh-cn_image_0000002423478670.png "点击放大") 3. 在侧边栏滑出的"配置管理"窗口中，根据业务需求修改Kubernetes的参数值。关于参数说明详情请参见[集群配置参数说明]。 - [通过API配置] **存量集群修改集群配置参数** 您可以通过API接口修改CCE集群配置参数，详情请参见[API参考文档](https://support.huaweicloud.com/api-cce/UpdateNodePoolConfiguration.html)。关于如何调用接口，请参见[构造请求](https://support.huaweicloud.com/api-cce/cce_02_0102.html)。 **PUT /api/v3/projects/{project_id}/clusters/{cluster_id}/nodepools/master/configuration** | 参数 | 描述 | |:---|:---| | project_id | 项目ID，获取方式请参见[如何获取接口URI中参数](https://support.huaweicloud.com/api-cce/cce_02_0271.html)。 | | cluster_id | 集群ID，获取方式请参见[如何获取接口URI中参数](https://support.huaweicloud.com/api-cce/cce_02_0271.html)。 | 请求体示例如下： ``` { "kind" : "Configuration", "apiVersion" : "v3", "metadata" : { "name" : "configuration" }, "spec" : { "packages" : [ { "name" : "kube-apiserver", "configurations" : [ { "name" : "default-not-ready-toleration-seconds", "value" : 300 }, { "name" : "default-unreachable-toleration-seconds", "value" : 300 } ] } ] } } ``` 以上示例中，修改集群服务器配置（kube-apiserver）参数如下： - 容器迁移对节点不可用状态的容忍时间（default-not-ready-toleration-seconds）：设置为300。 - 容器迁移对节点无法访问状态的容忍时间（default-unreachable-toleration-seconds）：设置为300。 **新建集群时修改集群配置参数** 您可以通过API接口在新建CCE集群时修改集群配置参数，详情请参见[API参考文档](https://support.huaweicloud.com/api-cce/cce_02_0236.html)。关于如何调用接口，请参见[构造请求](https://support.huaweicloud.com/api-cce/cce_02_0102.html)。 **POST /api/v3/projects/{project_id}/clusters** | 参数 | 描述 | |:---|:---| | project_id | 项目ID，获取方式请参见[如何获取接口URI中参数](https://support.huaweicloud.com/api-cce/cce_02_0271.html)。 | 填写configurationsOverride字段修改集群配置参数，请求体示例如下： ``` ... "spec" : { "configurationsOverride" : [ { "name" : "kube-apiserver", "configurations" : [ { "name" : "default-not-ready-toleration-seconds", "value" : 300 }, { "name" : "default-unreachable-toleration-seconds", "value" : 300 } ] } ] } ... ``` 以上示例中，修改集群服务器配置（kube-apiserver）参数如下： - 容器迁移对节点不可用状态的容忍时间（default-not-ready-toleration-seconds）：设置为300。 - 容器迁移对节点无法访问状态的容忍时间（default-unreachable-toleration-seconds）：设置为300。 #### 集群配置参数说明 集群支持以下配置参数。 #### 集群服务器配置（kube-apiserver） | 名称 | 参数 | 详情 | 取值 | 配置方式 | |:---|:---|:---|:---|:---| | 容器迁移对节点不可用状态的容忍时间 | default-not-ready-toleration-seconds | 表示节点处于不可用状态时，容器在被自动驱逐前可以继续运行的容忍时间，默认对所有的容器生效。CCE集群支持为不同Pod配置独立的容忍策略，实现精细化管控，详情请参见[设置容忍策略](https://support.huaweicloud.com/usermanual-cce/cce_10_0728.html)。 **配置建议**：无特殊需求建议保持默认配置。 **配置风险**：如果容忍时间配置过小，在网络抖动等短时故障场景下，容器可能会频繁迁移而影响业务；如果容忍时间配置过大，在节点故障时，容器可能长时间无法迁移，导致业务受损。 | 默认：300s | 控制台/API | | 容器迁移对节点无法访问状态的容忍时间 | default-unreachable-toleration-seconds | 表示节点无法访问时，容器在被自动驱逐前可以继续运行的容忍时间，默认对所有的容器生效。CCE集群支持为不同Pod配置独立的容忍策略，实现精细化管控，详情请参见[设置容忍策略](https://support.huaweicloud.com/usermanual-cce/cce_10_0728.html)。 **配置建议**：无特殊需求建议保持默认配置。 **配置风险**：如果容忍时间配置过小，在网络抖动等短时故障场景下，容器可能会频繁迁移而影响业务；如果容忍时间配置过大，在节点故障时，容器可能长时间无法迁移，导致业务受损。 | 默认：300s | 控制台/API | | 修改类API请求最大并发数 | max-mutating-requests-inflight | 表示最大mutating并发请求数。 当并发请求数超过此值时，请求将会被拒绝。其中，0表示无限制。 **配置建议**：建议保持默认值。 **配置风险**：上调该参数可能会导致过载风险。 | 从v1.21版本开始不再支持手动配置，根据集群规格自动配置如下： - 50和200节点：200 - 1000节点：500 - 2000节点：1000 | 控制台/API | | 非修改类API请求最大并发数 | max-requests-inflight | 最大non-mutating并发请求数。 当并发请求数超过此值时，请求将会被拒绝。其中，0表示无限制。 **配置建议**：建议保持默认值。 **配置风险**：上调该参数可能会导致过载风险。 | 从v1.21版本开始不再支持手动配置，根据集群规格自动配置如下： - 50和200节点：400 - 1000节点：1000 - 2000节点：2000 | 控制台/API | | Nodeport类型服务端口范围 | service-node-port-range | 表示NodePort类型Service可使用的节点端口范围，修改后请前往安全组页面同步修改节点安全组30000-32767的TCP/UDP端口范围，否则除默认端口外的其他端口将无法被外部访问。 **配置建议**：建议保持默认值。 **配置风险**：端口号小于20106会和CCE组件的健康检查端口冲突，引发集群不可用；端口号高于32767会和net.ipv4.ip_local_port_range范围冲突，影响性能。 | 默认：30000-32767 取值范围： min\>20105 max\<32768 | 控制台/API | | 请求超时时间 | request-timeout | 表示kube-apiserver组件的请求超时时间。 **配置建议**：建议保持默认值，避免频繁出现接口超时或其他异常。 **适用集群版本**：该参数仅v1.19.16-r30、v1.21.10-r10、v1.23.8-r10、v1.25.3-r10及以上版本集群支持。 | 默认：1m0s 取值范围： min\>=1s max\<=1h | 控制台/API | | 修改在服务端生效 | feature-gates: ServerSideApply | 表示kube-apiserver组件的ServerSideApply特性开关，详情请参见[服务器端应用（Server-Side Apply）](https://kubernetes.io/zh-cn/docs/reference/using-api/server-side-apply/)。功能启用时，系统会将资源的字段管理信息存储在metadata.managedFields字段中，以记录历史操作的主体、时间、字段等信息。 **适用集群版本**：该参数仅v1.19.16-r30、v1.21.10-r10、v1.23.8-r10、v1.25.3-r10及以上版本集群支持。v1.27及以上版本集群此特性默认开启，不支持关闭。 | 默认：开启 | 控制台/API | | 开启过载防护 | support-overload | 表示集群过载控制开关，开启后将根据控制节点的资源压力，动态调整请求并发量，维护控制节点和集群的可靠性。 **配置建议**：建议开启。开启过载防护功能不意味着绝对不会过载，极端场景如短时内请求量急剧冲高超出过载调整反应速度时，仍可能有过载现象出现，建议您针对集群访问行为进行主动管控，避免此类极端场景。 **适用集群版本**：该参数仅v1.23.5-r0及以上版本集群支持。 | 默认：开启 - false：不启用过载控制 - true：启用过载控制 | 控制台/API | | 节点限制插件 | enable-admission-plugin-node-restriction | 限制kubelet只能修改自身节点相关的Pod，防止越权操作，从而增强高安全要求或多租户场景下的隔离性。 **适用集群版本**：v1.23.14-r0、v1.25.9-r0、v1.27.6-r0、v1.28.4-r0及以上版本的集群支持该参数。 | 默认：开启 | 控制台/API | | Pod节点选择器插件 | enable-admission-plugin-pod-node-selector | 该参数允许集群管理员通过命名空间注释设置默认节点选择器，帮助约束Pod可以运行的节点，并简化配置。 **适用集群** **版本**：v1.23.14-r0、v1.25.9-r0、v1.27.6-r0、v1.28.4-r0及以上版本的集群支持该参数。 | 默认：开启 | 控制台/API | | Pod容忍度限制插件 | enable-admission-plugin-pod-toleration-restriction | 该参数允许通过命名空间设置Pod的容忍度的默认值和限制，为集群管理者提供了对Pod调度的精细控制，以保护关键资源。 **适用集群版本**：v1.23.14-r0、v1.25.9-r0、v1.27.6-r0、v1.28.4-r0及以上版本的集群支持该参数。 | 默认：关闭 | 控制台/API | | API受众 | api-audiences | 在服务账号令牌卷投射特性中，该参数用来为ServiceAccount令牌定义其受众，详细信息请参考[官方文档](https://kubernetes.io/zh-cn/docs/tasks/configure-pod-container/configure-service-account/#serviceaccount-token-volume-projection)。 **配置建议**：建议保持默认值。为了确保原有ServiceAccount的认证正常运行，在配置该参数时，建议新增受众，而不是删除已有的受众。 **配置风险**：删除还在使用中的已有配置，或者将其设置成错误的URL，可能会导致ServiceAccount认证失败。 **适用集群版本**：v1.23.16-r0、v1.25.11-r0、v1.27.8-r0、v1.28.6-r0、v1.29.2-r0及以上版本的集群支持该参数。 | 默认值："https://kubernetes.default.svc.cluster.local" 支持配置多个值，用英文逗号隔开 | 控制台/API | | 服务账户令牌发行者 | service-account-issuer | 指定发行服务账户令牌的实体标识符。这是在服务账户令牌的负载（Payload）中的 'iss' 字段所标识的值。 **配置建议**：请确保所配置的发行者（Issuer）URL在集群内部可被访问，并且可被集群内部的认证系统所信任。 **配置风险**：若设置了一个不可信或无法访问的发行者URL，可能会导致基于服务账户的认证流程失败。 **适用集群版本**：v1.23.16-r0、v1.25.11-r0、v1.27.8-r0、v1.28.6-r0、v1.29.2-r0及以上版本的集群支持该参数。 | 默认值："https://kubernetes.default.svc.cluster.local" 支持配置多个值，用英文逗号隔开 | 控制台/API | | 启用OIDC | oidc-enable | CCE支持接入OIDC（OpenID Connect）身份认证，您可以配置身份认证所需的信息获取访问令牌并添加到kubectl。详细操作请参见[在CCE中使用Dex OIDC Provider进行身份验证](https://support.huaweicloud.com/usermanual-cce/cce_10_0997.html)。 启用OIDC后，相关配置参数请参见[OIDC参数说明](https://support.huaweicloud.com/usermanual-cce/cce_10_0783.html#cce_10_0783__li152681633133211)。 | 默认：关闭 | 控制台/API | | 开启记录kube-system命名空间内的资源查询（get）和更新（update）操作 | kube-system-audit | 审计日志功能默认设置为不记录kube-system命名空间内的资源查询（get）和更新（update）操作，可通过该参数开启。 **配置建议** ：开启kube-system审计日志会增加日志量，若开启了[采集Kubernetes审计日志](https://support.huaweicloud.com/usermanual-cce/cce_10_0792.html)，可能提高LTS日志费用，建议按需配置。 **配置风险**：修改参数会导致kube-apiserver重启并断开已有长连接。请根据您的业务需求谨慎操作。 **适用集群版本**：v1.27.16-r50、v1.28.15-r40、v1.29.15-r0、v1.30.14-r0、v1.31.10-r0、v1.32.6-r0及以上版本集群支持该参数。 | 默认：关闭 | 仅支持通过API配置 | #### 调度器配置（kube-scheduler） | 名称 | 参数 | 详情 | 取值 | 配置方式 | |:---|:---|:---|:---|:---| | 默认调度器 | default-scheduler | 您可以根据需求选择不同的调度器： - kube-scheduler调度器：提供社区原生调度器标准调度能力。 - volcano调度器：兼容kube-scheduler调度能力，并提供增量调度能力。详情请参见[Volcano调度](https://support.huaweicloud.com/usermanual-cce/cce_10_0423.html)。 | 默认：kube-scheduler调度器 | 控制台/API | | 调度器访问kube-apiserver的QPS | kube-api-qps | 表示与kube-apiserver通信的稳态请求速率上限，即每秒允许发送的请求数（QPS）。 | - 集群规格为1000节点以下时，默认值100 - 集群规格为1000节点及以上时，默认值200 集群规格变更后，参数值会根据当前集群规格自动调整。 | 控制台/API | | 调度器访问kube-apiserver的突发流量上限 | kube-api-burst | 表示与kube-apiserver通信的突发请求上限。 | - 集群规格为1000节点以下时，默认值100 - 集群规格为1000节点及以上时，默认值200 集群规格变更后，参数值会根据当前集群规格自动调整。 | 控制台/API | | 开启GPU共享 | enable-gpu-share | 您可以根据需求选择是否开启GPU共享： - 关闭GPU共享时，需保证集群中的Pod没有使用共享GPU能力（即Pod不存在cce.io/gpu-decision的annotation），并需保证关闭GPU虚拟化功能。 - 开启GPU共享时，需保证集群中已使用GPU资源的Pod均存在cce.io/gpu-decision的annotation。 **适用集群版本**：该参数仅v1.23.7-r10、v1.25.3-r0及以上版本集群支持。 | 默认：开启 | 控制台/API | #### 集群控制器配置（kube-controller-manager） | 名称 | 参数 | 详情 | 取值 | 配置方式 | |:---|:---|:---|:---|:---| | Deployment | concurrent-deployment-syncs | 可以并发同步的Deployment对象个数。数值越大意味着对Deployment的响应越及时，同时也意味着更大的CPU（和网络带宽）压力。 | - 集群规格为1000节点以下时，默认值5 - 集群规格为1000节点及以上时，默认值10 集群规格变更后，参数值会根据当前集群规格自动调整。 | 控制台/API | | Endpoint | concurrent-endpoint-syncs | 可以并发同步的Endpoints对象个数。数值越大意味着更新Endpoints越快，同时也意味着更大的CPU（和网络）压力。 | 默认：5 | 控制台/API | | GC回收 | concurrent-gc-syncs | 可以并发同步的垃圾收集（Garbage Collector）工作线程个数。 | 默认：20 | 控制台/API | | Job | concurrent-job-syncs | 可以并发同步的Job对象个数。较大的数值意味着对Job的响应越及时，不过也意味着更多的CPU（和网络）占用。 | 默认：5 | 控制台/API | | CronJob | concurrent-cron-job-syncs | 可以并发同步的CronJob对象个数。较大的数值意味着对CronJob的响应越及时，不过也意味着更多的CPU（和网络）占用。 | 默认：5 | 控制台/API | | Namespace | concurrent-namespace-syncs | 可以并发同步的Namespace对象个数。较大的数值意味着对Namespace的响应越及时，不过也意味着更多的CPU（和网络）占用。 | 默认：10 | 控制台/API | | ReplicaSet | concurrent-replicaset-syncs | 可以并发同步的ReplicaSet个数。数值越大，副本管理的响应速度越快，同时也意味着更多的CPU（和网络）占用。 | - 集群规格为1000节点以下时，默认值5 - 集群规格为1000节点及以上时，默认值10 集群规格变更后，参数值会根据当前集群规格自动调整。 | 控制台/API | | ResourceQuota | concurrent-resource-quota-syncs | 可以并发同步的ResourceQuota对象个数。数值越大，配额管理的响应速度越快，不过对CPU（和网络）的占用也越高。 | 默认：5 | 控制台/API | | Servicepace | concurrent-service-syncs | 可以并发同步的Service对象个数。数值越大，服务管理的响应速度越快，不过对CPU（和网络）的占用也越高。 | 默认：10 | 控制台/API | | ServiceAccountToken | concurrent-serviceaccount-token-syncs | 可以并发同步的服务账号令牌对象个数。数值越大，令牌生成的速度越快，不过对CPU（和网络）的占用也越高。 | 默认：5 | 控制台/API | | TTLAfterFinished | concurrent-ttl-after-finished-syncs | 可以并发同步的ttl-after-finished-controller线程个数。 | 默认：5 | 控制台/API | | RC | concurrent_rc_syncs（v1.19及以下版本集群中使用） concurrent-rc-syncs（v1.21至v1.25.3-r0版本集群中使用） | 可以并发同步的副本控制器对象个数。数值越大，副本管理操作越快，不过对CPU（和网络）的占用也越高。 在v1.25.3-r0及以上版本的集群中，该参数已弃用。 | 默认：5 | 控制台/API | | HPA并发处理数 | concurrent-horizontal-pod-autoscaler-syncs | 允许并发执行的HPA弹性伸缩数量。 数值越大，HPA弹性伸缩响应越快，不过对CPU（和网络）的占用也越高。 | v1.27以下版本集群中默认为1，v1.27及以上版本以下集群中默认为5 取值范围为1-50 | 控制台/API | | Pod水平伸缩同步的周期 | horizontal-pod-autoscaler-sync-period | 水平弹性伸缩控制器同步Pod数量的周期。配置越小弹性伸缩器反应越及时，同时CPU负载也越高。 **配置建议**：建议保持默认值。 **配置风险**：周期配置过长可能导致控制器处理响应慢，超出上限（153,722,867分钟）甚至会导致系统组件启动异常；周期配置过短则会对集群管控面造成压力，产生过载风险。 | 默认：15s | 控制台/API | | Pod水平伸缩容忍度 | horizontal-pod-autoscaler-tolerance | 该配置影响控制器对伸缩策略相关指标反应的灵敏程度，当配置为0时，指标达到策略阈值时立即触发弹性。 **配置建议**：请结合业务资源占用行为特点配置。如业务资源占用随时间的"突刺"特征明显，建议保留一定的容忍度值，避免因业务短时资源占用飚高导致预期之外的弹性行为。 | 默认：0.1 | 控制台/API | | HPA CPU初始化期间 | horizontal-pod-autoscaler-cpu-initialization-period | 该期间内，只有Pod当前处于就绪状态并完成了最近一次指标采集，其指标才会被HPA统计使用。设置该字段可以在Pod启动初期过滤掉不稳定的CPU使用数据，进而防止基于瞬时峰值做出错误的扩缩容决策。 **配置建议**：如果您观察到Pods在启动阶段的CPU使用率波动导致HPA做出错误的扩展决策，可以适当增加此值。 **配置风险**：设置值过低可能导致基于CPU峰值做出过度反应的扩容；而设置的过高则可能在实际需要扩容时造成延迟反应。 **适用集群版本**：v1.23.16-r0、v1.25.11-r0、v1.27.8-r0、v1.28.6-r0、v1.29.2-r0及以上版本的集群支持该参数。 | 默认：5分钟 | 控制台/API | | HPA初始就绪状态延迟 | horizontal-pod-autoscaler-initial-readiness-delay | 在HPA的CPU初始化期间后，该就绪延迟期间允许HPA以一个较宽松的标准筛选CPU度量数据。在这段时间内，即使Pod的就绪状态有所变化，HPA也会统计使用它们的CPU使用数据进行扩缩容。该字段有助于在Pod状态频繁变化时，确保CPU使用数据被持续追踪。 **配置建议**：如果Pods在启动后的就绪状态发生波动，并且您需要避免此波动导致HPA的误判，可以适当增加此值。 **配置风险**：参数值设置过低可能会在Pod刚进入就绪状态时，因CPU数据波动导致不恰当的扩容行为；而设置过高则可能导致在需要快速反应时HPA无法立即做出决策。 **适用集群版本**：v1.23.16-r0、v1.25.11-r0、v1.27.8-r0、v1.28.6-r0、v1.29.2-r0及以上版本的集群支持该参数。 | 默认：30s | 控制台/API | | HPA缩容稳定窗口 | horizontal-pod-autoscaler-downscale-stabilization | 在稳定窗口时间内，HPA控制器会持续观察历史缩容推荐值并选择该时间段内最大的推荐副本数。设置该参数可以在负载下降阶段过滤掉短暂的指标波动，避免因此导致Pod数量频繁变化。 **配置建议**：如果观察到因短期负载下降导致HPA 频繁缩容后又快速扩容的抖动现象，可以适当增加此值来提升系统稳定性。 **配置风险**：设置过低可能导致对短期负载下降的过度反应，造成Pod频繁创建销毁；而设置得过高则可能在真实负载降低时资源释放延迟，造成资源浪费，超出上限（153,722,867分钟）会导致HPA控制器启动异常。当HPA控制器重启时，缩容稳定窗口会重新开始计时。 **适用集群版本**：v1.28.15-r60、v1.29.15-r20、v1.30.14-r20、v1.31.10-r20、v1.32.6-r20、v1.33.5-r10及以上版本的集群支持该参数。 | 默认：5分0秒 | 控制台/API | | 控制器访问kube-apiserver的QPS | kube-api-qps | 表示与kube-apiserver通信的稳态请求速率上限，即每秒允许发送的请求数（QPS）。 | - 集群规格为1000节点以下时，默认值100 - 集群规格为1000节点及以上时，默认值200 集群规格变更后，参数值会根据当前集群规格自动调整。 | 控制台/API | | 控制器访问kube-apiserver的突发流量上限 | kube-api-burst | 表示与kube-apiserver通信的突发请求上限。 | - 集群规格为1000节点以下时，默认值100 - 集群规格为1000节点及以上时，默认值200 集群规格变更后，参数值会根据当前集群规格自动调整。 | 控制台/API | | 终止状态pod触发回收的数量阈值 | terminated-pod-gc-threshold | 表示集群中可保留的终止状态Pod数量，终止状态Pod超出该数量时将会被删除。 该参数设置为0时，表示保留所有终止状态的Pod。 | 默认：1000 取值范围为10-12500 集群版本为v1.21.11-r40、v1.23.8-r0、v1.25.6-r0、v1.27.3-r0及以上时，取值范围调整为0-100000 | 控制台/API | | 可用区亚健康阈值 | unhealthy-zone-threshold | 当给定区域中处于非就绪状态的节点占比高于此值时，会将该区域认定为不健康。针对不健康的区域，故障节点业务的迁移频率会降级，从而避免规模故障场景下大规模迁移操作产生更坏的影响。 **配置建议**：建议保持默认配置。 **配置风险**：阈值配置过大可能导致区域在规模故障场景下仍尝试执行大规模迁移动作，导致集群过载等风险。 **适用集群版本**：v1.23.14-r0、v1.25.9-r0、v1.27.6-r0、v1.28.4-r0及以上版本的集群支持该参数。 | 默认：0.55 取值范围为0-1 | 控制台/API | | 节点迁移速率 | node-eviction-rate | 表示当某区域健康时，在节点故障的情况下每秒最多可以驱逐多少个节点上的Pods。该值默认设置为0.1，代表每10秒钟内至多可以驱逐一个节点的Pods。 **配置建议**：建议按比例折算后每批迁移Pod数量不超过300。如果迁移速率设置过大可能引入集群过载风险，同时每批迁移重调度的Pod过多，大量Pod无法及时调度，影响整体故障恢复时间。 **适用集群版本**：v1.23.14-r0、v1.25.9-r0、v1.27.6-r0、v1.28.4-r0及以上版本的集群支持该参数。 | 默认：0.1 | 控制台/API | | 次级节点迁移速率 | secondary-node-eviction-rate | 表示当某区域不健康时，在节点故障的情况下每秒最多可以驱逐多少个节点上的Pods。该值默认设置为0.01，代表每100秒钟内至多从驱逐一个节点的Pods。 **配置建议**：配合node-eviction-rate设置，一般建议设置为node-eviction-rate的十分之一。 **配置风险**：区域亚健康场景迁移速率设置过大无实际意义，且可能引入集群过载风险。 **使用集群版本**：v1.23.14-r0、v1.25.9-r0、v1.27.6-r0、v1.28.4-r0及以上版本的集群支持该参数。 | 默认：0.01 | 控制台/API | | 大规模集群大小阈值 | large-cluster-size-threshold | 用于判断是否属于大规模集群，当集群内节点数量大于此参数时，集群被判断为大规模集群。 **配置建议**：在拥有大量节点的集群中，适当增加此阈值可以帮助提高控制器的性能和响应速度。对于规模较小的集群，保持默认值即可。在调整此参数时，建议先在测试环境中验证其对性能的影响，后在生产环境中应用。 **配置风险**：被视为大型集群时，kube-controller-manager会进行特定配置调整，从而优化大规模集群性能。因此，如果阈值过低，规模小的集群用上的大集群的配置，反而降低性能。 **适用集群版本**：v1.23.14-r0、v1.25.9-r0、v1.27.6-r0、v1.28.4-r0及以上版本的集群支持该参数。 | 默认：50 | 控制台/API | #### 网络组件配置（eni）（仅CCE Turbo集群支持） | 名称 | 参数 | 详情 | 取值 | 配置方式 | |:---|:---|:---|:---|:---| | 集群级别的节点最少绑定容器网卡数 | nic-minimum-target | 保障节点最少有多少张容器网卡绑定在节点上，支持数值跟百分比两种配置方式。 - 数值配置：参数值需为0到65535的整数。例如10，表示节点最少有10张容器网卡绑定在节点上。当超过节点的容器网卡配额时，后台取值为节点的容器网卡配额。 - 百分比配置：参数值范围为1%-100%。例如10%，如果节点容器网卡配额128，表示节点最少有12张（向下取整）容器网卡绑定在节点上。 建议nic-minimum-target与nic-maximum-target为同类型的配置方式（同采用数值配置或同采用百分比配置）。 | 默认：10 | 控制台/API | | 集群级别的节点预热容器网卡上限检查值 | nic-maximum-target | 当节点绑定的容器网卡数超过节点预热容器网卡上限检查值(nic-maximum-target)，不再主动预热容器网卡。 当该参数大于等于节点最少绑定容器网卡数(nic-minimum-target)时，则开启预热容器网卡上限值检查；反之，则关闭预热容器网卡上限值检查。支持数值跟百分比两种配置方式。 - 数值配置：参数值需为0到65535的整数，0表示关闭预热容器网卡上限值检查。当超过节点的容器网卡配额时，后台取值为节点的容器网卡配额。 - 百分比配置：参数值范围为1%-100%。例如50%，如果节点容器网卡配额128，表示节点预热容器网卡上限检查值64（向下取整）。 建议nic-minimum-target与nic-maximum-target为同类型的配置方式（同采用数值配置或同采用百分比配置）。 | 默认：0 | 控制台/API | | 集群级别的节点动态预热容器网卡数 | nic-warm-target | 表示节点网络接口（NIC）预热的目标值，即在节点启动时预先分配的网络接口数量。 当"节点动态预热容器网卡数(nic-warm-target) + 节点当前绑定的容器网卡数"大于节点预热容器网卡上限检查值(nic-maximum-target) 时，系统只会预热nic-maximum-target与节点当前绑定的容器网卡数的差值。 | 默认：2 | 控制台/API | | 集群级别的节点预热容器网卡回收阈值 | nic-max-above-warm-target | 只有当"节点上空闲的容器网卡数 - 节点动态预热容器网卡数(nic-warm-target) "大于此阈值时，将会触发预热容器网卡的解绑回收。只支持数值配置。 - 调大此值会减慢空闲容器网卡的回收，加快Pod的启动速度，但会降低IP地址的利用率，特别是在IP地址紧张的场景，**请谨慎调大**。 - 调小此值会加快空闲容器网卡的回收，提高IP地址的利用率，但在瞬时大量Pod激增的场景，部分Pod启动会稍微变慢。 | 默认：2 | 控制台/API | | Pod访问元数据 | allow-metadata-network-access | 该功能启用后，集群中的Pod支持访问宿主机元数据。 - 如果Pod在开关开启状态下创建，则该Pod能否访问元数据取决于当前开关状态。 - 如果Pod在开关关闭状态下创建，或是在历史版本集群中创建，则无论当前开关状态如何，Pod均无法访问元数据。如需访问元数据，需要在开关开启状态下重建Pod。 | 默认：关闭 | 控制台/API | | 集群开启DataPlane V2 | dataplane-v2 | 开启DataPlane V2会启用eBPF流量转发路径，实现Service、NetworkPolicy等能力。 - **仅支持新建集群时**开启DataPlane V2，存量集群不支持开启。 - 开启了DataPlane V2后，不支持关闭。 - 新建集群初始版本为v1.34及以上的集群且开启DataPlane V2时，节点上将不再运行kube-proxy。 | 默认：false | 仅支持通过API配置 | #### 网络组件配置（eni）（仅VPC网络模型的集群支持） | 名称 | 参数 | 详情 | 取值 | 配置方式 | |:---|:---|:---|:---|:---| | 保留原有Pod IP的非伪装网段 | nonMasqueradeCIDRs | 仅VPC网络模型的集群支持。在VPC网络集群中，集群内的容器如果想要访问集群外，则需要将源Pod IP进行SNAT，转换为节点IP（伪装成节点与外部通信）。配置后，节点默认不会对该参数涉及的网段IP进行SNAT，即不进行这种伪装。 集群中的节点默认不会将目的IP为10.0.0.0/8,172.16.0.0/12,192.168.0.0/16三个网段的报文进行SNAT，因为CCE将这三个网段默认为私有网段，可以借由上层VPC直接将报文送达（即将这三个网段视为集群内的网络，默认三层可达）。 **适用集群版本**：v1.23.14-r0、v1.25.9-r0、v1.27.6-r0、v1.28.4-r0及以上版本集群支持该配置。 | 默认：10.0.0.0/8,172.16.0.0/12,192.168.0.0/16 说明： 如果需要保证节点能正常访问跨节点的Pod，必须添加节点的子网网段。 同理，如果同VPC下的其他ECS节点需要能正常访问Pod IP，必须添加ECS所在子网网段。 | 控制台/API | | 集群开启DataPlane V2 | dataplane-v2 | 开启DataPlane V2会启用eBPF流量转发路径，实现Service、NetworkPolicy等能力。 - **仅支持新建集群时**开启DataPlane V2，存量集群不支持开启。 - 开启了DataPlane V2后，不支持关闭。 - 新建集群初始版本为v1.34及以上的集群且开启DataPlane V2时，节点上将不再运行kube-proxy。 | 默认：false | 仅支持通过API配置 | #### 网络组件配置（canal-controller）（仅容器隧道网络模型的集群支持） | 名称 | 参数 | 详情 | 取值 | 配置方式 | |:---|:---|:---|:---|:---| | 容器隧道网络集群开启NetworkPolicy | enable-canal-network-policy | 容器隧道集群开启NetworkPolicy能力。 **仅支持新建集群时配置，存量集群不支持修改**。 | 默认：true | 仅支持通过API配置 | #### 扩展控制器配置（仅v1.21及以上版本集群支持） | 名称 | 参数 | 详情 | 取值 | 配置方式 | |:---|:---|:---|:---|:---| | 启用资源配额管理 | enable-resource-quota | 用于控制创建Namespace时是否自动创建ResourceQuota对象。通过配额管理功能，用户可以对命名空间或相关维度下的各类负载数量以及资源上限进行控制。 - 关闭：不自动创建ResourceQuota对象。 - 开启：自动创建ResourceQuota对象。ResourceQuota的默认取值请参见[设置资源配额及限制](https://support.huaweicloud.com/usermanual-cce/cce_10_0287.html)。 **配置建议**：在高并发场景下（如批量创建Pod），配额管理机制可能导致部分请求因冲突而失败，除非必要不建议启用该功能；如启用，请确保请求客户端具备重试机制。 | 默认：关闭 | 控制台/API | #### 集群kube-proxy组件配置（仅IPVS集群支持） | 名称 | 参数 | 详情 | 取值 | 配置方式 | |:---|:---|:---|:---|:---| | IPVS调度策略 | CLUSTER_IPVS_SCHEDULER | 控制节点IPVS负载均衡算法，如果未配置，则默认为Round Robin（轮询）算法。 支持的算法取值如下： - rr：表示Round Robin（轮询）算法，即按顺序循环将请求分配给后端服务器，所有服务器权重相等时，请求会被平均分配。 - lc：表示Least Connections（最少连接）算法，即优先将新请求分配给当前活跃连接数最少的后端服务器。 - dh：表示Destination Hashing（目标地址哈希）算法，即根据请求的目标IP地址进行哈希计算，分配请求到后端服务器。 - sh：表示Source Hashing（源地址哈希）算法，即根据请求的源IP地址进行哈希计算，将同一源IP的请求固定分配到同一台后端服务器。 - sed：表示Shortest Expected Delay（最短预期延迟）算法，分配请求给权重高的服务器，能更早发挥高性能服务器的能力。 - nq：表示Never Queue（永不排队）算法，当存在后端服务器的活跃连接数为0时，直接将请求分配给该服务器，无需计算公式，减少调度延迟。 **适用集群版本**：v1.28.15-r60、v1.29.15-r20、v1.30.14-r20、v1.31.10-r20、v1.32.6-r20、v1.33.5-r10及以上版本的集群支持该参数。 | 默认: "rr" | 控制台/API | ![](https://support.huaweicloud.com/usermanual-cce/public_sys-resources/note_3.0-zh-cn.png) 修改该配置需要在集群中新增如下CRD资源，其中options字段为key/value形式的对象且需要转化为json字符串传递参数，key为IPVS调度算法参数的名称（即CLUSTER_IPVS_SCHEDULER），value为IPVS调度算法。 ``` { "apiVersion": "version.cce.io/v1beta1", "kind": "PackageVersion", "metadata": { "name": "common-config" }, "spec": { "packageTemplate": [ { "name": "kube-proxy", "options": "{\"CLUSTER_IPVS_SCHEDULER\":\"dh\"}" } ] } } ``` #### 参考链接 - [kube-apiserver](https://kubernetes.io/zh/docs/reference/command-line-tools-reference/kube-apiserver/) - [kube-controller-manager](https://kubernetes.io/docs/reference/command-line-tools-reference/kube-controller-manager/) - [kube-scheduler](https://kubernetes.io/zh/docs/reference/command-line-tools-reference/kube-scheduler/) - [CCE Turbo配置容器网卡动态预热](https://support.huaweicloud.com/bestpractice-cce/cce_bestpractice_10010.html)